一、关于Transfer
MySQL-Transefer(下称Transfer)是一个基于MySQL+patch后得到的主从同步工具。
其主要目的是为了解决原生版本的主从同步里,从库是单线程apply主库的binlog,导致的延迟。
最近完成测试的版本将multi-master (by P.Linux)合并到Transfer中并针对支付宝的应用需求做了定制性能改进。
这里做一个已经完成的完整功能介绍。
二、总体结构
说明:
1、Transfer可以注册成多个Master的从库
2、Transfer接收多个Master传入的binlog后将更新执行到Slave上
3、Transfer本地没有数据
如果你没有多主的需求,那结构就是Master -> Transfer -> Slave.
三、内部结构
既然是单线程造成的主从延迟,提升就需要用多线程来实现。
我们来看单主情况下的内部实现。
说明:左上角是Master, 右上角是Transfer,下面是Slave。
四、增加参数及对应说明
在my.cnf中新增如下几个参数:
remote_slave_hostname = Ip of Slave
remote_slave_username = root
remote_slave_password = root
remote_slave_port = Port of Slave
stop_slave_on_error = 1
remote_table_maps_file = ./table_maps
transfer_slave_thread = 10
说明:
1、 前四个是目标slave库的认证信息
2、 Stop_slave_on_error 一般建议配置为1,表示只要有一个线程执行出错,所有slave_io_thread都停止
3、 remote_table_maps_file路径指向本地文件,文件中每行格式为 “表1 表2”,表示在Transfer做同步时,将Master上所有对表1的操作都更新到表2.
4、 transfer_slave_thread是一个只读参数,控制Transfer有多少个线程做并发更新(若为1则表示串行更新,性能与官方版本相同)。一般建议配置为系统核数2倍。
五、一些说明
1、由于Transfer是在MySQL基础上打的patch,因此支持几乎所有MySQL的监控命令,你原来加在Slave上的监控,可以直接改到Transfer上。
2、 一般我们将Transfer和Slave放在同一个机器上(等于是装两个MySQL,一个是Transfer,一个是真正的slave)
3、 Transfer按照表名hash将不同表的更新分配到不同的线程,因此在多表环境下才能看得到性能提升
4、 Master的binlog格式必须设置成row
5、 若需要用到多个Master,给每个Master命令一个channel,命令序列为 change master channel1 to master_log_file=xxx…… ; start slave channel1; 可以单独对一个chanel执行start\stop等命令
6、 若只需要一个master,则语法格式不变
六、性能效果
测试场景如下,在Master上的16个表并发分别插入10w行。期间先停止同步。插入完成后,再分别测试直接用原生版本主从和Transfer的性能。
主库插入耗时66.1s 。
|
耗时
|
平均tps
|
MySQL主从
|
363s
|
4402/s
|
Transfer同步
|
66s
|
24242/s
|
七、Patch应用
下载地址。 基于5.1.48, patch –p0 < transfer_mysql.diff. 后续安装步骤与原生MySQL相同.
示例my.cnf 从此下载,记得修改程序安装目录。
分享到:
相关推荐
mysql驱动包 mysql-connector-java-5.1.13-bin.jar 方便快捷获取。。。
mysql-connector-java-5.1.7-bin.jar
mysql-connector-java-5.1.27.jar mysql-connector-java-5.1.27.jar
包含mysql-for-visualstudio-1.2.7 安装包以及mysql-connector-net-6.9.8 每个VS版本连接mysql的对应安装文件关系
包括以下文件 mysql-connector-java-3.0.16-ga-bin.jar mysql-connector-java-3.1.8-bin.jar mysql-connector-java-3.1.13-bin.jar mysql-connector-java-5.0.5-bin.jar
mysql-connector-java mysql-connector-java-5.1.5 mysql-connector-java-5.1.40
面试题c++mysql多线程操作系统 面试题c++mysql多线程操作系统 面试题c++mysql多线程操作系统 面试题c++mysql多线程操作系统 面试题c++mysql多线程操作系统
mysql-connector-java-5.1.46-bin.jar mysql-connector-java-5.1.27-bin.jar
mysql-connector-java-5.1.28-bin.jar。mysql-connector-java-5.1.28-bin.jar。mysql驱动包。
mysql最新驱动包 mysql最新驱动包 mysql-connector-java-8.0.16.rar
包含mysql-connector-java-8.0.22.jar包含mysql-connector-java-8.0.22.jar包含mysql-connector-java-8.0.22.jar包含mysql-connector-java-8.0.22.jar包含mysql-connector-java-8.0.22.jar包含mysql-connector-java-...
go-mysql-transfer是一款MySQL数据库实时增量同步工具。 能够监听MySQL二进制日志(Binlog)的变动,将变更内容形成指定格式的消息,实时发送到接收端。从而在数据库和接收端之间形成一个高性能、低延迟的增量数据...
简介go-mysql-transfer是一款MySQL数据库实时增量同步工具。能够监听MySQL二进制日志(Binlog)的变动,将变更内容形成指定格式的消息,实时发送到接收端。从而在数据库和接收端之间形成一个高性能、低延迟的增量数据...
最新版 mysql-for-visualstudio-1.2.8.msi. mysql数据库连接visualstudio,
最新的mysql的jar包,mysql-connector-java-8.0.12,官网上没有Connector J 8.0的windows的安装版
支持mysql-connector-java-5.6,mysql-connector-java-5.0.X以上
mysql是线程不安全的,mysql不是线程安全的,多线程共用同一个mysql连接是会崩溃的 QT的QSqlDatabase是基于mysql的,所以一样是线程不安全的 现讲明mysql为什么是线程不安全的,以及在多线程环境下如何使用mysql,...
mysql57-community-release-el7-11.noarch.rpm,使用mysql 官方yum 仓库,方法本土下载