datax在web端的使用步骤

IT那活儿发布于2023-01-11 13:20 / 1981人阅读

datax在web端的使用步骤

DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

这个工具本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。这次给大家介绍的是DataX在web端的使用步骤：

1. 首先打开Datax的网址，选择项目管理，点击添加

2. 创建项目名称和添加项目描述之后，点击确认

3. 点击任务管理，选择Datax任务模板，点击添加

4. 在弹出的对话框中设定任务，执行器、路由策略和阻塞处理都使用默认选项，不用做变更。所属项目在下拉框中选择刚刚创建的项目名称，任务描述可自行补充，Cron选项可以根据需要设定定时周期运行的任务，设定完之后点击确认。

5. 任务模板添加完成之后选择数据源管理，点击添加。由于这次的单表导入是从oracle端导入到PG端，所以源端数据源选择oracle，数据库名称可自行填写，不用按照oracle端本来的数据库名称填写，再补充对应的用户名密码，以及ip、端口和server name，注意符号别写错，测试连接成功之后就可以点击确认了。

6. 继续添加目标端数据源，方法跟第五步类似，只是在数据源的选择上需要选择postgresql

7. 在任务管理中选择任务构建，在数据库源这一项，选择刚刚添加的源端数据源上填写的数据库名称，接下来填入需要导入的表的所属schema名称和表名，如果只想导表的某几个字段的数据，可以再SQL语句这一栏中填写对应的查询语句，这里我们导入全表，并选择表所有字段，点击下一步。

8. 继续在任务构建中补充目标端详细信息，数据库源这一项选择在第五步中目标端数据源上填写的数据库名称，其他步骤与第七步类似，配置完成之后，点击下一步。

9. 确认源端和目标端字段一致，点击下一步。

10. 可以看到，web端现在已经自动了生成配置脚本

11. 在任务管理中可以看到我们刚刚构建的任务，点击操作，选择执行一次。

12. 之后可以再次点击操作，选择查询日志，根据日志提示可以看到此次导入已经成功完成。

END

更多精彩干货分享

点击下方名片关注

IT那活儿

GPU云服务器云服务器 webrtc如何在web中使用服务端的web?service web前端与后端的区别 web前端和后端的区别

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/129786.html

DataX的限速与调优

DataX的限速与调优 img{ display:block; margin:0 auto !important; width:100%; } body{ width:75%; margin:...

不知名网友 2023-01-11 11:02 评论0 收藏598
DataX在有赞大数据平台的实践

摘要：与大数据体系交互上报运行统计数据自带了运行结果的统计数据，我们希望把这些统计数据上报到元数据系统，作为的过程元数据存储下来。基于我们的开发策略，不要把有赞元数据系统的嵌入源码，而是在之外获取，截取出打印的统计信息再上报。一、需求有赞大数据技术应用的早期，我们使用 Sqoop 作为数据同步工具，满足了 MySQL 与 Hive 之间数据同步的日常开发需求。随着公司业务发展，数据同步的场景越...

JerryWangSAP 2019-05-22 17:07 评论0 收藏0