连续碰到两个同学问类似的问题,必须要记录一下。
问题:
一个作解析binlog应用的同学发现不论用utf8还是gbk来解析binlog都可能会碰到无法解析的语句,因为有些用户会用utf8,有些用gbk。尤其在处理Query类型的SQL语句中的中文字符,比如建表语句中的中文注释。
于是他想到用mysqlbinlog来看看binlog里面的内容。
Mysqlbinlog这个工具的结果带来了新的疑问。
开一个客户端,执行序列如下:
set names utf8;
create table a(c int);
create table b(c int);
set names gbk;
drop table a;
create table a(c int)comment='测试字符集';
mysqlbinlog解析结果如下
binlog的结果与预期相同。从结果看,可以通过
SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=28/*!*/;
这句话的原始信息中得到当前使用的字符集,那么解析后续的binlog语句就没有问题。可以看到在drop table a之前我们修改了字符集,同样在binlog解析结果中可以看到一个设置字符集的语句。
问题追问:但是解析工具是可以指定起始位置的。如果指定从drop table a这个语句的位置之后开始解析,那是不是就无法得知当前的字符集信息(gbk)?是不是只能到MySQL server里面才能得到这个表的正确建表语句?
显然不会这么复杂,否则MySQL的从库上执行一个change master 改变同步位置的时候,从库应该使用什么字符集呢?碰到的问题是相同的。
实际上,对于statement格式的binlog(类型为QUERY_EVENT),每个event中都记录了当前使用的字符集编号。无论主库、从库还是mysqlbinlog,都保存相同的一份编号到字符集的对应,能够决定使用什么字符集来解析binlog中的字符串。
这里也可以得到为什么官方无法保证从库版本低于主库版本的主从结构正确性的一个原因。
至于为什么mysqlbinlog工具不会每行都输出当前使用的字符集?其实有点洁癖的程序员都会这么干的吧,当前的语句与上一个语句使用相同的环境变量,就不重复输出了。
问题2:mysqlbinlog结果中有use一个db以后,执行多个语句,此时mysqlbinlog的结果中看到,只会在切换的时候显示一次use db。那如果从之后的第二个语句开始解析binlog,会不会导致这些语句执行到另外一个库去?
同理。
相关推荐
MySQL Binlog Digger是一款免费的,且基于图形界面的binlog挖掘分析工具与sql审计工具。当发生误删、误增、误改时,它可以帮助我们从binlog中快速定位到误操作的重做语句(redo sql),同时推理出回滚语句(undo sql)。...
MySQL Binlog Digger 4.19安装包,mysql日志回滚、解析、挖掘、支持离线在线 支持解析全sql字段语句
简单好用的mysql binlog查看工具 采集于网络。
binlog有两个常用的使用场景: 主从复制:mysql replication在master端开启binlog,master把它的二进制日志传递给slaves来达到master-slave数据一致的目的。 数据恢复:通过mysqlbinlog工具来恢复数据。
先私信后购买,解析binlog利器,回滚恢复误删除数据
MySQL Binlog Digger是一个基于图形界面的MySQL Binlog挖掘分析工具,可以为数据恢复提供undo sql回滚语句,它免安装,能对在线binlog与离线binlog进行分析,在选定在线binlog(甚至分析到最新日志)或离线binlog日志...
mysql5.7.27dump&binlog,数据库5.7.27备份工具和使用说明。20191126
赠送jar包:mysql-binlog-connector-java-0.21.0.jar; 赠送原API文档:mysql-binlog-connector-java-0.21.0-javadoc.jar; 赠送源代码:mysql-binlog-connector-java-0.21.0-sources.jar; 赠送Maven依赖信息文件:...
mysql_binlog是 MySQL 二进制日志解析器的一个干净的、 mysql_binlog Rust 实现,包括对 MySQL 5.7 中引入的 JSONB 类型的支持。 它的主要目的是处理基于行的日志消息,但它对旧的基于语句的复制有基本的支持。 它...
开启mysql-binlog操作 binlog日志用于记录所有更新了数据或者已经潜在更新了数据的所有语句。语句以“事件”的形式保存,它描述数据更改。当我们因为某种原因导致数据库出现故障时,就可以利用binlog日志来挽回...
DB运维平台可视化解析binlog就派上用场咯1
作为一个MySQL DBA,查看分析binlog是日常工作的一部分,不知道你是否遇到过这样的需求:一个时间段,各个表的dml统计情况
一个应用它提取MySQL binlog,解析binlog并将增量更新数据推送到不同的接收器,例如kafka。
mysql-binlog介绍 mysql-binlog是MySQL数据库的二进制日志,用于记录用户对数据库操作的SQL语句((除了数据查询语句)信息。可以使用mysqlbin命令查看二进制日志的内容。 binlog 的作用 用于数据库的主从复制及...
Pulsar集群 监听mysql8的binlog java代码
生产上误删数据、误改数据...最近有些朋友在用大众点评开源的一个 MySQL 闪回工具 -- binlog2sql,因此也测试了一把,一探究竟。 用途 数据回滚 主从切换后数据不一致的修复 从 binlog 生成标准 SQL,带来的衍生功能
上传一份,MySQL Binlog Digger一个压缩包是绿色的。 MySQL Binlog Digger基于图形界面,免安装的日志分析工具,能对在线binlog与离线binlog进行分析,在选定在线binlog或离线binlog日志后,可对数据库、表、binlog...
mysql解析器 一个mysql binlog解析器,从mysql-tracker中获取binlog数据,用protobuf解析binlog到entry
mysql5.7开启binlog注意事项1
基于Python实现用于解析和转换 MySQL 二进制日志(binlog)的工具源码