追风刀·丁奇
丁林.tb · 共 110 篇文章
各版本MySQL并行复制的实现及优缺点
MySQL并行复制已经是老生常谈,笔者从2010年开始就着手处理线上这个问题,刚开始两三年也乐此不疲分享,现在再提这个话题本来是难免“炒冷饭”嫌疑。 最近触发再谈这个话题,是因为有些同学觉得“5.7的并行复制终于彻底解决了复制并发性问题”, 感觉还是有必要分析一下。大家都说没有银弹,但是又期待银弹。。 既然要说5.7的并行复制,干脆顺手把各个版本的并行复制都说明一下,也好有个对比。便是本次分享的初衷。 【背景】 一句话说完,因为这几年太多这样文章了, 就是MySQL一直以来的备库复制都是单线程apply。 【解决基本思路】 改成多线程复制。 备库有两个线程与复制相关:io_thread 负责…
2016-01-19 18:02 · MySQL · 评论(1)
一个mysqldump导出失败的案例分析
背景 MySQL全量逻辑备份恢复最基础的方法,就是mysqldump生成文本,再通过source 命令直接导入。一般用于实例迁移或者版本升级。 这里说明最近碰到的一个失败例子。 描述 这个例子可以简要复现如下,在源库上执行如下操作: use mydb; create table t1 (id int); create view v1 as select * from t1; drop table t1; 之后执行 mysqldump mydb,发现mysqldump中途退出。简化后出错原因很明显,就是视图v1对应的表t1已经不存在,这个视图本身非法。 这个错误很危险,因为如果没有捕获这个错误…
2014-06-03 23:16 · MySQL · 评论(0)
MySQL 聚集UDF,计算列表中的奇数总和
技痒之作 -__- CREATE AGGREGATE FUNCTION oddsum returns INTEGER SONAME "udf_oddsum.so"; CREATE TABLE `v1` ( `c` int(11) DEFAULT NULL, `id` int(11) NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; insert into v1 values(1,0), (3,2), (4,4); select sum(c),oddsum(c) from v1; +--------+-----…
2014-06-02 23:08 · MySQL · 评论(0)
autocommit=0引起的业务hang住
背景 有用户报告一个普通的select 语句被hang住了,执行超时。查明之后发现是autocommit使用不当导致。 这里将case简化,说明复现步骤及原因。 复现 session1 建表并插入数据: create table if not exists t(id int primary key, c int); set autocommit=0; insert into t values(1,1); insert into t values(2,2); insert into t values(3,3); commit; select count(*) from t; 这个执行流程的目的…
2014-05-25 17:53 · MySQL · 评论(2)
一个用户SQL慢查询分析,原因及优化
问题描述 一个用户反映线上一个SQL语句执行时间慢得无法接受。SQL语句看上去很简单(本文描述中修改了表名和字段名): SELECT count(*) FROM a JOIN b ON a.`S` = b.`S` WHERE a.`L` > '2014-03-30 00:55:00' AND a.`L` < '2014-03-30 01:00:00' ; 且查询需要的字段都建了索引,表结构如下: CREATE TABLE `a` ( `L` timestamp NOT NULL DEFAULT '2000-01-01 00:00:00', `I` varchar(32) CHARACTER …
2014-05-23 03:25 · MySQL · 评论(4)
一个用户迁移数据库前后的性能差异case
问题 一个用户问题,数据从ECS迁移到RDS,相同的语句,查询性能下降了几十倍。而实际上RDS这个实例在内存上的配置与原来ECS上的实例相当。 本文简单说明这个case的原因及建议。 用户反馈性能变慢的语句为 (修改了真实表名和列名) select count(1) from HR hr join H h on h.hid = hr.hid join A e on e.aid = h.eid join A t on t.aid = e.pid join A c on c.aid = t.pid join A p on p.aid = c.pid left join U u on u.uid …
2014-05-21 14:21 · MySQL · 评论(0)
MySQL一个异常查询问题追查
问题 线上碰到的问题:相同的语句,只是最后的limit行数不同。奇怪的是,limit 10 的性能比limit 100的语句还慢约10倍。 隐藏用户表信息,语句及结果如下 SELECT f1 , SUM(`f2`) `CNT` FROM T WHERE f1 IS NOT NULL AND f3 = '2014-05-12' GROUP BY f1 ORDER BY `CNT` DESC LIMIT 10; 执行时间3 min 3.65 sec SELECT f1 , SUM(`f2`) `CNT` FROM T WHERE f1 IS NOT NULL AND f3 = '2014-05-…
2014-05-16 12:38 · MySQL · 评论(0)
Webscalesql代码浏览记录
浏览了下webscalesql 的代码。目前包含的62个commit分类如下。 目前还没有能够体现”webscale”特征的代码,不过从roadmap上看,fb回头会继续把一些大动作加进来,可以期待。 本文先简要说明一下当前分支中一些有趣的代码。 关于代码洁癖 Steaphan Greene (@fb)同学的代码洁癖从多达二十几个关于testcase和编译参数调整的commit里面可见一斑。这注定webscalesql分支会是一个够干净的分支。从照片上如此粗旷的汉子真是看不出来。 其中如 “去掉cmake中的-DWITH_DEBUG参数”这样的commit确实大块人心,原来那些重复的又可能自…
2014-04-03 18:28 · MySQL · 评论(1)
Webscalesql代码浏览记录
浏览了下webscalesql 的代码。目前包含的62个commit分类如下。 目前还没有能够体现”webscale”特征的代码,不过从roadmap上看,fb回头会继续把一些大动作加进来,可以期待。 本文先简要说明一下当前分支中一些有趣的代码。 关于代码洁癖 Steaphan Greene (@fb)同学的代码洁癖从多达二十几个关于testcase和编译参数调整的commit里面可见一斑。这注定webscalesql分支会是一个够干净的分支。从照片上如此粗旷的汉子真是看不出来。 其中如 “去掉cmake中的-DWITH_DEBUG参数”这样的commit确实大块人心,原来那些重复的又可能自…
2014-04-03 18:27 · MySQL · 评论(0)
Webscalesql代码浏览记录
浏览了下webscalesql 的代码。目前包含的62个commit分类如下。 目前还没有能够体现”webscale”特征的代码,不过从roadmap上看,fb回头会继续把一些大动作加进来,可以期待。 本文先简要说明一下当前分支中一些有趣的代码。 关于代码洁癖 Steaphan Greene (@fb)同学的代码洁癖从多达二十几个关于testcase和编译参数调整的commit里面可见一斑。这注定webscalesql分支会是一个够干净的分支。从照片上如此粗旷的汉子真是看不出来。 其中如 “去掉cmake中的-DWITH_DEBUG参数”这样的commit确实大块人心,原来那些重复的又可能自…
2014-04-03 18:27 · MySQL · 评论(0)
MySQL Q&A 解析binlog的两个问题
连续碰到两个同学问类似的问题,必须要记录一下。 问题: 一个作解析binlog应用的同学发现不论用utf8还是gbk来解析binlog都可能会碰到无法解析的语句,因为有些用户会用utf8,有些用gbk。尤其在处理Query类型的SQL语句中的中文字符,比如建表语句中的中文注释。 于是他想到用mysqlbinlog来看看binlog里面的内容。 Mysqlbinlog这个工具的结果带来了新的疑问。 开一个客户端,执行序列如下: set names utf8; create table a(c int); create table b(c int); set names gbk; drop ta…
2014-03-31 17:18 · MySQL · 评论(0)
mymysql与go-mysql-driver的一个区别
今天要写个工具就想顺便学下go。网上翻了下发现用比较多的是mymysql和go-mysql-driver。 这两个驱动网上比较的文章也有些了,不过都没有提到一个点,个人觉得是很重要的,记录一下。 先看使用go-mysql-driver的例子。 db,_**:=**sql.Open("mysql",connect_string) db.Query("set binlog_format=row") rows,_**:=**db.Query("select @@binlog_format") for rows.Next(){ var v string rows.Scan(**&**v) fmt.P…
2014-01-23 21:16 · MySQL · 评论(0)
MySQL-Transfer2.3发布
Transfer 2.3发布, 下载地址 此版本除了升级based版本外 *优化了无索引表的同步性能 *优化了slave模式下超大事务内存消耗问题 *Transfer模式相关的功能改动较多 *修复transfer模式下超大事务可能同步失败的bug 由于有两个公司的同学在使用5.5.31,因此该版本的改动也同时backport到5.5.31, 下载地址 版本说明 1、 基于版本 Percona 5.5.34 ,简单用法是先安装好官方或PS版5534,然后替换为transfer的mysqld 若使用的是slave模式,直接替换无需修改参数。 **FAQ:**若直接替换后启动如下的错误 "Erro…
2013-12-01 21:17 · MySQL · 评论(7)
关于MySQL count(distinct) 逻辑的另一个bug
背景 上一篇博文( 链接 )介绍了count distinct的一个bug。解决完以后发现客户的SQL语句仍然返回错误结果(0), 再查原因,发现了另外一个bug。也就是说,这个SQL语句触发了两个bug -_- 这里只说第二个,将问题简化后复现如下,影响已知的所有版本 。 drop table if exists tb; set tmp_table_size=1024; create table tb(id int auto_increment primary key, v varchar(32))engine=myisam charset=gbk; insert into tb(v) v…
2013-11-28 09:59 · MySQL · 评论(2)
Is it a bug in MySQL or in java-connector?
Description In mysql-connector-java-5.1.27, the charset utf8mb4 is supported. But the steps and result bellow looks buggy. 1、 set character_set_server=gbk in my.cnf 2、 start mysql 3、 execute set global character_set_server=utfmb4; 4、 insert a data with utf8mb4 characters Result: error data inserted…
2013-11-19 13:58 · MySQL · 评论(1)