分类

商品

商品

店铺

资讯

热门搜索 : WordPress 织梦企业官网小说源码 Discuz

服务器低至9.9￥/月

当前位置：首页 > 资讯 > 系统环境 > 服务器应用

数据增量收集CDC系统应用场景分析以及Canal应用步骤

时间：2019-06-11 03:40 作者：皮皮裴来源：皮皮裴阅读：770
扫一扫，手机访问

摘要：很多应用场景下，除了收集数据库全量数据外，还希望只获取增量数据。例如，MySQL某个表从某个时刻开始修改、插入或者删除的数据。在这种情况下，CDC（Change Data Capture）系统应运而生。本文将详情数据增量收集CDC系统应用场景分析以及Canal应用步骤。CDC系统主要功能是捕获数据库中

很多应用场景下，除了收集数据库全量数据外，还希望只获取增量数据。例如，MySQL某个表从某个时刻开始修改、插入或者删除的数据。在这种情况下，CDC（Change

Data Capture）系统应运而生。本文将详情数据增量收集CDC系统应用场景分析以及Canal应用步骤。

CDC系统主要功能是捕获数据库中的数据升级，将增量数据发送给各个订阅者和消费者。CDC系统应用非常广泛，具体应用场景可形容为如下图所示：

CDC应用场景

应用场景主要包括：

（1）异地机房同步。实现数据异地机房容灾。

（2）数据库实时备份。相似于master/slave架构，实时对数据库进行备份。

（3）业务Cache刷新。升级数据库成功的同时，刷新Cache的值。

（4）数据全库迁移。创立任务对列表，逐渐完成全库所有表的迁移。

CDC系统开源实现的典型系统是Canal。Canal的主要定位是基于数据库增量日志解析，提供增量数据订阅和消费，目前主要支持了MySQL关系数据库。

Canal的主要原理是，模拟数据库的主备复制协议，接收主数据库产生的binary log，进而捕获升级数据，以MySQL为例说明，具体步骤如下：

步骤1：Canal实现MySQL主备复制协议，向MySQL Server发送dump协议。

步骤2：MySQL收到dump请求，开始推送binlog给Canal。

步骤3：Canal解析binlog对象，并发送给各个消费者。

全部评论(0)

上一篇：Impatient JavaScript 中文版校正活动期待大家的参加
下一篇：Node.js中Koa2在控制台输出请求日志的方法

最新发布的资讯信息
【系统环境|】Fortigate飞塔防火墙如何开启DNS转发/DNS代理(2025-10-14 23:58)
【系统环境|】有了它，再也不用担心电脑弹窗广告和病毒啦！(2025-10-14 23:57)
【系统环境|】如何关闭恼人的电脑弹窗广告？2招搞定(2025-10-14 23:55)
【系统环境|】实用软件推荐：电脑广告弹窗多？用他，都给你屏蔽掉！(2025-10-14 23:55)
【系统环境|】Nginx篇01——基本安装配置和静态页面设置(2025-10-14 23:54)
【系统环境|】Linux端口开放，查看，删除，防火墙(2025-10-14 23:53)
【系统环境|】安全HTTP头部配置: 基于CSP与HSTS的Web安全策略(2025-10-14 23:52)
【系统环境|】老K：做私域过1000万的赛道全部都聚焦在女性身上！(2025-10-14 23:51)
【系统环境|】JavaScript跨域问题: 如何解决跨域访问和资源共享的安全策略(2025-10-14 23:51)
【系统环境|】家庭七级财务防火墙(2025-10-14 23:50)

源码超市

店铺

血鸟云

推荐商品

手机访问领取大礼包