网站首页 > 博客文章 正文
前言
数据库做主从,主要目的有两点:①读写分离 ,②数据容灾备份。
在搭建MySql主从环境前,我们要了解CAP原则(一致性(Consistency)、可用性(Availability)、分区容错性(Partition tolerance))。这三者之间存在矛盾关系,因为为了实现高可用性,通常需要牺牲一致性;而要保证数据的强一致性,又可能导致系统不可用,尤其是在网络分区的情况下。这意味着在分布式系统中,最多只能同时实现这两点。
故我们搭建环境的配置是默认基于AP模式的异步复制。
主从复制原理
(1)master服务器将数据的改变记录二进制binlog日志,当master上的数据发生改变时,则将其改变写入二进制日志中;
(2)slave服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/OThread请求master二进制事件
(3)同时主节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至从节点本地的中继日志中,从节点将启动SQL线程从中继日志中读取二进制日志,在本地重放,使得其数据和主节点的保持一致,最后I/OThread和SQLThread将进入睡眠状态,等待下一次被唤醒。
配置Docker MySql环境
- 环境预设
软件环境
目标运行结果
一主二从,3个MySql服务均通过docker compose搭建在主机IP为192.168.8.33的树莓派系统上,同步的是主服务中创建test数据库。
- 目录结构
sudo mkdir -p /usr/local/docker/mysql8/{master,slave1,slave2}
sudo mkdir -p /usr/local/docker/mysql8/slave1/{data,config}
sudo mkdir -p /usr/local/docker/mysql8/slave2/{data,config}
sudo mkdir -p /usr/local/docker/mysql8/master/{data,config}
sudo vim /usr/local/docker/mysql8/docker-compose.yml
version: '3.8'
services:
database-mysql8-master:
image: 'mysql:8.3.0'
container_name: mysql8-master
restart: unless-stopped
environment:
MYSQL_ROOT_PASSWORD: root
TZ: Asia/Shanghai
ports:
- 3306:3306
volumes:
- /usr/local/docker/mysql8/master/data/:/var/lib/mysql
- /usr/local/docker/mysql8/master/config/my.cnf:/etc/mysql/my.cnf
database-mysql8-slave-1:
image: 'mysql:8.3.0'
container_name: mysql8-slave-1
restart: unless-stopped
environment:
MYSQL_ROOT_PASSWORD: root
TZ: Asia/Shanghai
ports:
- 3307:3306
volumes:
- /usr/local/docker/mysql8/slave1/data:/var/lib/mysql
- /usr/local/docker/mysql8/slave1/config/my.cnf:/etc/mysql/my.cnf
database-mysql8-slave-2:
image: 'mysql:8.3.0'
container_name: mysql8-slave-2
restart: unless-stopped
environment:
MYSQL_ROOT_PASSWORD: root
TZ: Asia/Shanghai
ports:
- 3308:3306
volumes:
- /usr/local/docker/mysql8/slave2/data:/var/lib/mysql
- /usr/local/docker/mysql8/slave2/config/my.cnf:/etc/mysql/my.cnf
adminer:
image: 'adminer:4.8.1'
container_name: adminer8
restart: unless-stopped
ports:
- 8080:8080
sudo vim /usr/local/docker/mysql8/master/config/my.cnf
[mysqld]
#Linux下默认是区分大小写:0为区分大小写;1为不区分大小写,会自动将查询表名转为小写。
#mysql8.0及以上版本必须首次启动容器时就设置好,后面都不能再进行修改,否则mysql将无法启动
lower_case_table_names=1
#设置服务器id,为1表示主服务器,实例唯一ID,不能和canal的slaveId重复
server-id=1
#注意log-bin配置的是日志文件名前缀路径,日志文件在datadir生成
log-bin=mysql-bin
#选择mixed模式,该值为允许数据库自动决定使用哪种日志格式来记录更改
binlog-format=mixed
#需要同步的数据库名,如果有多个数据库,可重复此参数,每个数据库一行
binlog-do-db=test
sudo vim /usr/local/docker/mysql8/slave1/config/my.cnf
[mysqld]
#Linux下默认是区分大小写:0为区分大小写;1为不区分大小写,会自动将查询表名转为小写。
#mysql8.0及以上版本必须首次启动容器时就设置好,后面都不能再进行修改,否则mysql将无法启动
lower_case_table_names=1
server-id=2
#与主服务器相同
log-bin=master-1-mysql-bin
#与主服务器相同
binlog-format=mixed
#与主服务器相同
replicate-do-db=test
sudo vim /usr/local/docker/mysql8/slave2/config/my.cnf
[mysqld]
#Linux下默认是区分大小写:0为区分大小写;1为不区分大小写,会自动将查询表名转为小写。
#mysql8.0及以上版本必须首次启动容器时就设置好,后面都不能再进行修改,否则mysql将无法启动
lower_case_table_names=1
server-id=3
#与主服务器相同
log-bin=mysql-bin
#与主服务器相同
binlog-format=mixed
#与主服务器相同
replicate-do-db=test
启动容器
sudo docker compose up
通过navicat客户端连接测试三个mysql服务
配置主从配置
- 在主数据库创建一个专用于数据同步的用户
create user 'syncroot'@'%' identified by 'syncrootpw';
GRANT REPLICATION SLAVE ON *.* TO 'syncroot'@'%';
flush privileges;
show master status;
记录下其中的file和position的值,这个需要用于从数据库的配置。
- 从1、从2数据库
stop slave;
change master to master_host='192.168.8.33', master_port=3306,master_user='syncroot',master_password='syncrootpw',master_log_file='mysql-bin.000003',master_log_pos=158,get_master_public_key=1;
start slave;
show slave status;
执行show slave status;后查询的结果,对于通过navicat以行展现的形式不好查看,可以行转列。还觉得不好看,可以通过命令行的形式查看。
- 在主数据库创建数据库
CREATE DATABASE `test` CHARACTER SET 'utf8mb4' COLLATE 'utf8mb4_0900_ai_ci';
问答
- 在cmd命令行窗口下mysql命令无法执行而报错
答:该问题是cmd没用系统管理员权限启动
- 从库配置同步用户,出现caching_sha2_password错误问题
答:因为mysql8.0默认采用的是caching_sha2_password加密方式,故我们在配置从数据库时需要加上get_master_public_key=1,这个参数的作用是在主从复制设置中,当从服务器尝试连接到主服务器时,它告诉从服务器获取主服务器的公钥,并使用这个公钥来加密密码。这有助于确保连接的安全性。
也可以在主数据库创建同步用时,加上mysql_native_password进行兼容。
create user 'master'@'%' identified with mysql_native_password by 'pass';
GRANT REPLICATION SLAVE ON *.* TO 'master'@'%';
flush privileges;
show master status;
若非必要进行兼容,不建议采用mysql_native_password方式。
总结
数据库主从方式主要有:①一主一从②主主复制③一主多从④多主一从⑤联级复制,但都是基于上面配置,再稍有一点区别而已。 其中①③其实配置一模一样。大多数情况下都是一主多从架构。
根据阿里巴巴《Java 开发手册》提出单表行数超过 500 万行或者单表容量超过 2GB,才推荐进行分库分表。如果预计三年后的数据量根本达不到这个级别,请不要在创建表时就分库分表。
数据库主从复制架构,基本能够应付大多数情况下系统设计。
猜你喜欢
- 2024-09-10 解决Navicat连接 Mysql 8 出现1251- Client does not support错误
- 2024-09-10 win10安装mysql遇到的坑(win10安装mysql5.5)
- 2024-09-10 MySQL系列-二进制包安装(v8.0.24)
- 2024-09-10 Win10+docker+Laradock(下篇):Docker的基本操作与项目开发配置
- 2024-09-10 为Debezium配置MySQL单机版(mysqld 指定配置文件)
- 2024-09-10 Java 连接 MySQL 8.0 排错案例-爱可生
- 2024-09-10 MySQL数据库下载、安装、配置、卸载
- 2024-09-10 不要再原地踏步了,升级到 MySQL 8.x 的 6 大理由!
- 2024-09-10 Django + MySQL 8 开发环境用 Docker来部署
- 2024-09-10 【每日一学】数据库大揭秘:MySQL 事务学习手册,精通数据操作!
你 发表评论:
欢迎- 367℃用AI Agent治理微服务的复杂性问题|QCon
- 358℃初次使用IntelliJ IDEA新建Maven项目
- 357℃手把手教程「JavaWeb」优雅的SpringMvc+Mybatis整合之路
- 351℃Maven技术方案最全手册(mavena)
- 348℃安利Touch Bar 专属应用,让闲置的Touch Bar活跃起来!
- 346℃InfoQ 2024 年趋势报告:架构篇(infoq+2024+年趋势报告:架构篇分析)
- 345℃IntelliJ IDEA 2018版本和2022版本创建 Maven 项目对比
- 342℃从头搭建 IntelliJ IDEA 环境(intellij idea建包)
- 最近发表
- 标签列表
-
- powershellfor (55)
- messagesource (56)
- aspose.pdf破解版 (56)
- promise.race (63)
- 2019cad序列号和密钥激活码 (62)
- window.performance (66)
- qt删除文件夹 (72)
- mysqlcaching_sha2_password (64)
- ubuntu升级gcc (58)
- nacos启动失败 (64)
- ssh-add (70)
- jwt漏洞 (58)
- macos14下载 (58)
- yarnnode (62)
- abstractqueuedsynchronizer (64)
- source~/.bashrc没有那个文件或目录 (65)
- springboot整合activiti工作流 (70)
- jmeter插件下载 (61)
- 抓包分析 (60)
- idea创建mavenweb项目 (65)
- vue回到顶部 (57)
- qcombobox样式表 (68)
- vue数组concat (56)
- tomcatundertow (58)
- pastemac (61)
本文暂时没有评论,来添加一个吧(●'◡'●)