资讯专栏INFORMATION COLUMN

OceanBase数据同步挖掘日志慢解决方案

IT那活儿 / 668人阅读
OceanBase数据同步挖掘日志慢解决方案
[
1、事件背景
]


某移动客户为响应集团去“IOE”号召进行ORACLE数据库国产化改造试点,选型阿里OceanBase数据库,以下简称OB库。数据同步选择阿里开发的OMS(OceanBaseMigrationService)工具,该工具支持从ORACLE应急环境将数据同步至OB库,但由于ORACLE端数据库归档量较大,单个归档条目较多导致OMS工具挖掘及应用归档日志的速度无法满足数据同步迁移需求,严重影响项目国产化测试及上线进度。经过多方讨论结合业务特点决定采用分批迁移方案,将迁移的第一批字典数据通过OGG工具同步到新建Oracle数据库中,因新库主要承载配置数据,大大地减少了归档的产生,然后利用OMS工具将字典数据同步至OB库中。


[
2、迁移实施方案
]



[
3、迁移实施步骤
]


3.1搭建计费新数据库

利用图形界面或者静默方式在计费应急环境上新建ORACLE实例,实例名:ojf21、ojf22



3.2新环境部署OGG同步

在c4oxxx节点上安装OracleGoldenGate软件,并部署抽取进程,投递进程,复制进程,确保430张配置表字典数据实时同步。


3.3配置OMS同步

(1)选择合适的租户创建用户

查看OB计费集群租户与资源的配置


查看租户在server上已使用容量


为不影响现有迁移链路,此次选择在rating_430租户中创建用户rating作为OMS数据迁移的目标端。


--登录测试

obclient-h10.19.XXX.XXX -P2883 -urating_430@rating_430#objf1 -pratingXXXX


(2)配置ORACLE与OB端数据源

oracle数据源配置:

OB数据源配置:


(3)配置OMS同步链路


[
4、分析总结
]


在使用OMS工具进行数据迁移的过程中,我们遇到了很多问题,有些问题依靠自己的专业知识进行了解决,有些问题同阿里同事一起分析、研究想办法解决;有些问题则必须借助阿里强大的研发团队进行快速的产品迭代解决;有些问题通过转变思路绕过问题点来规避等等。我们坚信任何一款产品的成型都是经过不断试错,修复,再试错,再修复的过程中逐渐完善起来的,俗话说的好“玉不雕不成器,树不修不成材”,阿里OMS工具也需要我们在实践中不断的打磨,锤炼。如此,才会在国产化的道路上成为一把利器,目前国产化浪潮的道路上都是摸着石头过河,这个过程更加考验现场的综合处置能力,应急处理等能力。现场除在做好本职工作之外,对试点业务系统迁移过程中遇到的点滴问题进行总结,分享给大家,以此让大家对OB有更多的了解和避坑,更好的帮助到大家也是让我们很高兴的一件事情。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/130112.html

相关文章

  • 浅谈支撑起支付宝整个“11-11”的幕后功臣OceanBase数据

    摘要:简介本文首发公众号一名打字员据悉,年的月份,蚂蚁金服已经宣布,蚂蚁金服及阿里巴巴自研的关系型数据库已经支撑起和淘宝的日常业务需求,成功替换了之前所采用的单机数据库如或者开源的。 简介 Tip:本文首发公众号【一名打字员】 据悉,17年的4月份,蚂蚁金服已经宣布,蚂蚁金服及阿里巴巴自研的关系型数据库OceanBase已经支撑起Tmall和淘宝的日常业务需求,成功替换了之前所采用的单机数据...

    zhoutao 评论0 收藏0
  • 厉害了,蚂蚁金服!创造了中国自己的数据OceanBase(下)

    摘要:技术成就划时代的分布式数据库通过核心业务的不断上线,蚂蚁金服帮助渡过了自研基础软件产品最艰难的应用关。年天猫双十一,支付宝创造了万笔每秒支付峰值的业界新纪录,这对于数据库来说,意味着每秒需要同时运行万条。 技术成就:划时代的分布式数据库 通过核心业务的不断上线,蚂蚁金服帮助OceanBase渡过了自研基础软件产品最艰难的应用关。OceanBase不只是被研发出来的,更是被用出来的,是在...

    shiina 评论0 收藏0

发表评论

0条评论

IT那活儿

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<