189 8069 5689

MySql的Binlog日志工具举例分析

这篇文章主要介绍“MySQL的Binlog日志工具举例分析”，在日常操作中，相信很多人在MySql的Binlog日志工具举例分析问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”MySql的Binlog日志工具举例分析”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

创新互联建站致力于网站设计制作、网站设计,成都网站设计,集团网站建设等服务标准化，推过标准化降低中小企业的建站的成本，并持续提升建站的定制化服务水平进行质量交付，让企业网站从市场竞争中脱颖而出。 选择创新互联建站，就选择了安全、稳定、美观的网站建设服务！

Canal

定位：基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql。

原理：

  • canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议

  • mysql master收到dump请求，开始推送binary log给slave(也就是canal)

  • canal解析binary log对象(原始为byte流)

MySql的Binlog日志工具举例分析

整个parser过程大致可分为几步：

  •  Connection获取上一次解析成功的位置（如果第一次启动，则获取初始制定的位置或者是当前数据库的binlog位点）

  • Connection建立连接，发生BINLOG_DUMP命令

  • Mysql开始推送Binary Log

  • 接收到的Binary Log通过Binlog parser进行协议解析，补充一些特定信息

  • 传递给EventSink模块进行数据存储，是一个阻塞操作，直到存储成功

  • 存储成功后，定时记录Binary Log位置

   MySql的Binlog日志工具举例分析

  • 数据过滤：支持通配符的过滤模式，表名，字段内容等

  • 数据路由/分发：解决1:n (1个parser对应多个store的模式)

  • 数据归并：解决n:1 (多个parser对应1个store)

  • 数据加工：在进入store之前进行额外的处理，比如join

Maxwell

MySql的Binlog日志工具举例分析
canal 由Java开发，分为服务端和客户端，拥有众多的衍生应用，性能稳定，功能强大；canal 需要自己编写客户端来消费canal解析到的数据。
maxwell相对于canal的优势是使用简单，它直接将数据变更输出为json字符串，不需要再编写客户端。

Databus  
Databus是一种低延迟变化捕获系统，已成为LinkedIn数据处理管道不可或缺的一部分。Databus解决了可靠捕获，流动和处理主要数据更改的基本要求。Databus提供以下功能：

  • 源与消费者之间的隔离

  • 保证按顺序和至少一次交付具有高可用性

  • 从更改流中的任意时间点开始消耗，包括整个数据的完全引导功能。

  • 分区消费

  • 源一致性保存

MySql的Binlog日志工具举例分析

到此，关于“MySql的Binlog日志工具举例分析”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！


本文名称：MySql的Binlog日志工具举例分析
标题链接：http://jkwzsj.com/article/pichhi.html

其他资讯