五 01

MySQL数据库实时同步数据到Hadoop分布式文件系统的工具Applier

发布时间： 发布者：

通过Map/Reduce进行批处理递送到Apache Hadoop仍然是中枢环节。,但随着要从“超思维速度“分析方面获取竞争优势的压力递增，因此Hadoop(分布式文件系统)自身经历重大的发展。科技的发展允许实时查询，如Apache Drill, Cloudera Impala和Stinger Initiative正脱颖而出，新一代的资源管理Apache YARN 支持这些。

继续阅读全文 →

五 01

MySQL 5.6里坑人的index_condition_pushdown

发布时间： 发布者：

猜测在MySQL 5.6中，启用index_condition_pushdown之后，会把所有符合过滤条件的数据先全部取出，然后再进行排序。
文中的例子中，由于 tid, position 已是联合主键，因此默认就是正序排序，所以如果不是倒序排序的话，效率还是很高的。
关闭index_condition_pushdown后，优化器认为可以从联合主键索引中取出符合条件的索引记录，并且利用主键完成倒序排序，
最后再根据主键取出相应的行记录，所以效率会更高，这个可以从改造成JOIN后的执行计划得到佐证。

继续阅读全文 →

五 01

互联网DBA需要做那些事

发布时间： 发布者：

众所周知，互联网DBA与传统行业DBA有很大的不同，那就是管理的机器多，新技术更新快，面对的开发多、网络环境复杂、要求7*24待机；这样就 导致互联网DBA的工作在传统DBA工作之上，增加了更多的复杂性，我们必须考虑如何大批量部署，如何集中化监控、如何解决单点故障而保障7*24，而为 了做到这些，不是靠堆人力，我们必须有一个完整的平台作为支撑，那么数据库平台到底要建成什么样子呢？

继续阅读全文 →

五 01

MySQL utf8表存储latin1乱码字符转换

发布时间： 发布者：

线上有个数据表，字符集是utf8，但由于环境不统一的原因，导致实际上数据表存储的内容是latin1内码的数据。也就是说，借着utf8的壳子，实际存储着latin1字符集的数据。在这种情况下，需要注意的几个字符集配置，请阅读本文。

继续阅读全文 →

四 07

MySQL5.6复制之Replication Event Checksums

发布时间： 发布者：

binlog-checksum={NONE|CRC32} — NONE表示binlog 中的事件里面不记录checksum值，保持与老版本兼容；而CRC32则在事件中加入用来确认事件是否正常的checksum值。

master-verify-checksum={0|1} – 该参数用来判断​主库写入到binlog中的事件是否正常，Dump Thread用来将主库更新事件读出发给从库的I/O Thread，当它读出事件时会进行checksum校验，对于复制来说这此判断不太需要，只需要在复制端判读出过来的事件事件是否正常即可，默认设置为0关闭checksum检查；另外，当我们执行命令SHOW BINLOG EVENTS的时候也会触发checksum校验。

继续阅读全文 →