mysql的binlog解析

1. binlog是什么

   mysql用于主从同步的二进制日志，主服务器数据发生更新后会把变动记录binlog文件，然后从服务器会拉取binlog文件解析，实现数据同步。

2. Binlog记录更新的方式

3. Statement：文件中存的是sql语句，优点是传输的数据量比较少，缺点是很难保证主从一致。比如rand（）会在不同的地方产生不同的值。
4. Row：文件中存的是更新的那一行的数据内容，优点是不会出错，缺点是传输的数据量比较大

5. Mixed：兼顾两种优点，会产生歧义的用row模式，不会产生歧义的用state模式
   我们这里要解析的是row模式的binlog，sql语句解出来对我们并没有什么用

6. 解析的目的

   针对一些需要频繁在数据库中查找的数据，在内存或者redis中维护一块缓存镜像，通过解析binlog实现镜像数据的增量同步。

7. 利用mysql内部通讯协议获取binlog

8. 拉取过程：连接mysql服务器后，发送一个请求包过去，然后就对那个socket一直不断的拉取数据。
9. 请求包的格式：3字节的包长 + 1字节的 seq + payload
10. payload

注意：flag 设为0x00 在Maria db 表现还是为非阻塞，请在mysql上测试。

发送包的组包代码如下

int32_t bus_dump_cmd_t::write_packet(int fd)
    {
        char buf[1024];
        uint32_t bodysz =0;
        uint32_toffset =4;
        buf[offset] = _cmd;
        bodysz +=1;
        int4store(buf +offset + bodysz, _binlog_pos);
        bodysz +=4;
        int2store(buf +offset + bodysz, _flags);
        bodysz +=2;
        int4store(buf +offset + bodysz, _server_id);
        bodysz +=4;

        std::size_t binlog_filename_len = _binlog_filename.size();
        memcpy(buf +offset + bodysz, _binlog_filename.c_str(), binlog_filename_len);
        bodysz += binlog_filename_len;

        /*set seqid */
        buf[offset -1] =0x00;

        int3store(buf, bodysz);

        int ret =write(fd, buf, bodysz +4);if (ret != int(bodysz +4))
        {
            g_logger.error("write dump cmd packet fail, error:%s", strerror(errno));            return -1;
        }        return0;
    }

• 返回包的格式：
• 3 字节包长 + 1字节的seq + 一字节状态码 + event
• 包长为 小端模式
• 状态码 有两个 0x00 表示后面是正常event， 0xff 表示是一个 ERR_packet，里面是一些错误信息。
• 错误包的格式

如上图所示，有 2字节的错误码 + 6字节的状态码 + 一串错误信息

详细的代码和文档

https://github.com/liujian0616/binlogsub