OGG的Veridata组件使用

IT那活儿发布于2023-01-11 13:20 / 700人阅读

OGG的Veridata组件使用

点击上方蓝字关注我们

一、Veridata组件简介

1.1 Veridata引出

OracleGoldenGate产品体系如下：

软件名称	用途
GoldenGate	一般常用的安装包，针对不同平台不同类型数据库不同版本有不同的安装包。安装后可以配置参数，启Mgr、Extract、Replcat进程，实现数据链路的复制。
GoldenGate Veridata	数据同步比对工具，将一组数据与另一组数据进行比较，并标识不同步的数据，并允许您修复发现的所有不同步数据。

1.2 Veridata架构

Veridata组件说明

组件名	组件说明
Veridata Server	协调veridata对比任务的执行、compare data、COOS、sort row、produce report
Veridata Web UI	配置对比对象和规则、initial compare、review status and oos data、repair oos data
Veridata Repository	不存储oos data，可以是oracle、mysql或sqlserver
Veridata Agent	和DB交互（hash row for initial compare、 Fetch and update rows to repair out-of-sync data、 Return column-level detail for out-of-sync rows ）
VeridataCommand-line Utilities	reportutility（查询加密的oos数据和report）、vericom（手工发指令定义job去执行数据对比）、veridata_scripting（创建xml文件来配置veridata，代替使用webui）

二、Veridata安装

2.1 安装准备

安装规划

1台服务上安装veridata的所有组件，veridata的agent可以不在源库或者目标库上，这里和Sever在一起部署。

软件准备

软件项目	软件包
配置库	oracle11g数据库实例、字符集UTF8
JDK	jdk1.7
Fusion Middleware Infrastructure	fmw_12.1.3.0.0_infrastructure.jar
veridata server	fmw_12.1.3.0.0_ogg.jar
veridata jagent	fmw_12.1.3.0.0_ogg.jar

2.2 安装过程

主要安装步骤如下：

1）准备好oracle11g数据库实例veri

2）安装JDk1.7

3）安装FusionMiddleware Infrastructure 12c(12.1.3.0)

4）veridataserver安装

5）veridatajagent的安装

主要安装截图展示：

Veridata Server安装

Veridata JAgent安装

2.3 相关概念

按照ConnectionConfiguration  GroupConfiguration comparepair主线配置概念进行说明。

配置项	配置说明
连接配置Connection Configuration	配置agent 到需要对比的DB的连接。
组配置 Group Configuration	包含一个或多个compare pair的逻辑容器。
compare pair	表示一张源表与一张目标表之间的逻辑关系，包含了需要比较的一张源表与一张目标表，可以进一步指定列的映射关系以及行的子集。
profile配置	一组全局的参数设置。Veridata 提供了一个dfault profile，也可创建自己的profile，用户可以根据需要创建多个profile，并与任意的job或者compare pair（用于覆盖job的profile的参数设置）关联。
job配置	为了进行比较，必须运行一个作业。作业的配置中指定了需要处理的compare pair ，以及运行时的参数。在创建作业之前，需要先创建至少一个compare group，如果需要定制运行时的参数设置，还需要创建至少一个profile，否则该作业会使用系统缺省的profile。）相关联。

三、Veridata使用

3.1 比对流程

Veridata数据比对流程

两阶段

1）初始对比（Initialcomparsion，或者称为行哈希对比阶段）：

从源和目标查询行（如果格式不一致，会被自动转换成标准化的数据类型），

进行第一次对比（PK列的值比较值、非PK列计算hash后进行比较，可以降低网络上的传输成本（当然也可以对非PK列比较列值，性能会慢且网络开销大））；第一次compare的不同步的记录，会存储在内存中的MOOSqueue中（maybe-out-of-sync）；（因为某些行的数据可能正在被复制，因此可能只是暂时有不同）

2）确认阶段（也称为COOS（confirm-out-of-sync）阶段）：这个阶段从MOSSqueue里取数据，对这些可能不同步（OOS）的数据进行再次对比。

第二阶段对比的结果可能有3种：

In-flight：确认阶段发现源和目标这些行还是不一样，而且和第一阶段的比较也不一样，说明第一阶段之后这些行又有新的变化了，veridata无法确认是否同步；
In-sync：确认已经同步；
persistentlyout-of-sync：确认不同步；

确认persistentlyout-of-sync的行保存在文件中(OOSfile, out-of-syncfile，可以是xml、bin等格式，非DB保存，该文件包含了需要选择这些数据进行重新同步的所有信息，包括了每张表的元数据信息。可以使用上一次的OOS文件作为下一次比较的输入信息）

3.2 Veridata数据一致性校验

第一步，启动veridata服务器

1）启动veridata的数据库和监听

2）启动weblogic中间件

3）启动veridata管理服务器

4）配置agent的jdbc连接，并启动代理agent服务进程

5）登陆veridata平台

地址：http://XX.XX.XX.XX:8830/veridata

第二步，veridata的配置使用

1）确认需要比对的表

2）配置过程

按照ConnectionConfiguration  Group Configuration compare pair主线配置。

第1步：连接配置

第2步：组配置

第3步：组参数配置comparepair添加

第4步：profile配置

第5步：job配置

第6步：运行比对作业job

第7步：查看报告

3）对比结果处理

第1步：对比作业使用的配置文件核查

第2步：生成的比对报告结果及文件位置

第三步：比对结果确认与评估

3.3 Veridata的数据一致性修复

比对完成后针对不一致的记录，可以选中，直接点击RunRepair执行repairpair对目标端不一致数据表进行修复。修复后再次比对表的数据一致性就发现已经一致了。

四、总结

在日常的数据库运维及数据迁移工作中，数据比对验证的方法有很多，除去手工比对方法之外，使用Veridata工具进行尝试也是一个不错的选择。

OracleGoldenGate Veridata作为一个独立的产品，是一种高性能的数据对比解决方案，对在两个数据库之间进行数据复制时可能存在的差异进行确认和报告。

GoldenGate Veridata在两端数据库保持在线的情况下进行数据对比。数据一致性在数据迁移和数据同步的场景下是最关键的重要环节，而Veridata就可以解决大部分我们对数据一致性的刚性需求。

大部分Oracle DBA都会遇到场景：

场景	需求	Veridata的作用
OGG数据同步	在OGG的日常维护中，经常遇到因为源和目标的数据不一致而导致进程复制进程abend(或者异常discardfile或者入异常记录表)，如果有工具能验证数据一致性并修正数据该多好啊？	Veridata可以在源库和目标库之间比对数据并修复不一致的数据。
数据库迁移	根据业务需要，需要将数据从A库迁移到B库，如何保证业务迁移前后，数据库A和数据库B的数据完全无误？	Veridata作为权威的第三方工具，可以出报表说明哪些表的数据是否一致
数据库升级	根据升级需要，业务系统需要升级，如何保证备份数据和升级数据一致性？	Veridata快速校验数据是否一致

Veridata技术特点

1）易于使用、高性能且侵入性极低的产品，可用户管理数据一致性。

2）比较包含大量数据的数据库

3）在线比较数据不断变化的数据库

4）消耗的资源低

5）配置使用灵活，功能强大

6）选择性、并行比较

7）异构性：可以支持不同数据库之间的compare

8）性能：大约十几M-几十M/秒；

9）对在线的支持：veridata可以脱离ogg运行环境

END

云服务器 GPU云服务器 vuejs组件使用在php中使用组件 asp使用第三方组件 ogg

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/129997.html

OGG Integrated Native DDL简单测试

OGG Integrated Native DDL简单测试 img{ display:block; margin:0 auto !important; width:100%; } body{ width:75%;...

IT那活儿 2023-01-11 13:20 评论0 收藏1085
10 个你不知道你需要的 HTML 元素

摘要：如果你想了解更多关于的知识，可以访问以获得更多的元素。如果用户代理不支持指定的类型，那么这个元素会被跳过。想阅读更多优质文章请猛戳GitHub博客,一年百来篇优质文章等着你！我听过 HTML很容易这种情绪的次数比我想象的要多。虽然我同意 HTML 可能比其他编程语言更容易学习，但你不应该认为它是理所当然的。 HTML 是一种功能强大的标记语言，可用于为我们的 web 应用程序提...

Mike617 2019-08-02 16:15 评论0 收藏0
10 个你不知道你需要的 HTML 元素

摘要：如果你想了解更多关于的知识，可以访问以获得更多的元素。如果用户代理不支持指定的类型，那么这个元素会被跳过。想阅读更多优质文章请猛戳GitHub博客,一年百来篇优质文章等着你！我听过 HTML很容易这种情绪的次数比我想象的要多。虽然我同意 HTML 可能比其他编程语言更容易学习，但你不应该认为它是理所当然的。 HTML 是一种功能强大的标记语言，可用于为我们的 web 应用程序提...

张汉庆 2019-08-23 17:16 评论0 收藏0
那是我在夕阳下的奔跑：边跑边学习html5之audio与video

摘要：尤其是乔布斯在年发布的一篇的文章。乔布斯在里面写下了关于的一点看法，说明自己为什么不使用，谈到关于的一些问题，比如开放性，安全性，对于设备续航的影响，不利于触摸屏，等等。终于，于年月日，爸爸也放弃治疗了，宣布将于年正式退休。今天为大家分享一下html5中的视频（video）与音频（audio）。在进入主题之前我们先了解一下Flash与html5这两种技术的时代背景与发展历史。 1.前...

gself 2019-08-20 19:04 评论0 收藏0