典型管理系统架构，Manager（web管理，包含全量同步工具）+Node（工作节点）
基于zookeeper，允许多Node节点之间协同工作。
配置信息和同步日志保存在数据库DB中。
Select日志抽取，转换为组件内部事件。
Extract记录反查，补全变更记录。
Transform表名/字段转换；load加载入库。
node可以有三种部署方式：
全部部署在生产机房；
全部部署在灾备（目标端）机房；
分别部署在两个机房中，其中生产机房中的node负责SE阶段，灾备（目标端）机房中的node负责TL阶段，不同机房中的node通过rpc或http通信。
三种方式各有优劣，用户可根据实际环境中的网络速度、机器硬件、数据库性能等条件选择最优方案。
跨IDC工具支持的同步场景：
场景1：获取MySQL数据库增量日志数据（MySQL主备复制实现）
master将改变记录到二进制日志(binary log)中；
slave将master的binary log events拷贝到它的中继日志(relay log)；
slave重做中继日志中的事件，将改变反映它自己的数据。
Canal的工作原理
canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议。
mysql master收到dump请求，开始推送binary log给slave(也就是canal)。
canal解析binary log对象(原始为byte流)。
场景2：通过oracle物化视图解决oracle数据源增量数据抽取问题，采用消息队列缓冲减少源库的压力，使用统一格式封装处理与数据同步组件无缝衔接，实现oracle源数据的并行实时传输。
数据抽取
基于Oracle的物化视图日志并行增量订阅/解析。
增量数据放入消息队列，保证顺序性，减少物化视图访问量，便于签收、重传，帮助实现并行加载。
使用统一格式封装处理，兼容数据传输模块。
数据加载
根据目标库类型自动选择数据库引擎，构造对应SQL语句，处理特殊字段类型。
源于Oracle的增量数据多批次并行加载。
更多精彩干货分享
点击下方名片关注
IT那活儿
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/129889.html
摘要：月日，由腾讯云联手极客邦科技共同组织的线下沙龙会议在杭州举办。腾讯云技术专家姚俊军表示。未来，腾讯云将继续保持开放连接的理念，为电商企业提供更加智慧的解决方案，为行业云上发展赋能。 12 月 22 日，由腾讯云联手极客邦科技共同组织的线下沙龙会议在杭州举办。本次沙龙会议邀请了来自腾讯云、小红书、蘑菇街等企业的技术专家，共同探讨了数字信息时代构建自主可控的智能+电商平台的趋势和解决方案。...
摘要：月日，由腾讯云联手极客邦科技共同组织的线下沙龙会议在杭州举办。腾讯云技术专家姚俊军表示。未来，腾讯云将继续保持开放连接的理念，为电商企业提供更加智慧的解决方案，为行业云上发展赋能。 12 月 22 日，由腾讯云联手极客邦科技共同组织的线下沙龙会议在杭州举办。本次沙龙会议邀请了来自腾讯云、小红书、蘑菇街等企业的技术专家，共同探讨了数字信息时代构建自主可控的智能+电商平台的趋势和解决方案。...
摘要：最近在学习各大互联网公司是如何处理数据一致性的。目前已知的有这么几种数据库做到情况下的强一致性淘宝淘宝顶级科学家阳振坤微博号阿里正祥，发出一则消息。然后因为数据库是的，内部把改动到了北美，君就可以看到消息了。 最近在学习各大互联网公司是如何处理数据一致性的。因为之前从事的不是这个方向的工作，所以并非什么经验之谈，只是一些学习笔记。所有资料来自互联网。 Consistent => Ev...
阅读 1346·2023-01-11 13:20
阅读 1684·2023-01-11 13:20
阅读 1132·2023-01-11 13:20
阅读 1858·2023-01-11 13:20
阅读 4100·2023-01-11 13:20
阅读 2704·2023-01-11 13:20
阅读 1385·2023-01-11 13:20
阅读 3597·2023-01-11 13:20
