ETL工具Kettle自定义时间变量入库

IT那活儿发布于2023-01-11 13:19 / 1121人阅读

点击上方“IT那活儿”公众号，关注后了解更多内容，不管IT什么活儿，干就完了！！！

kettle自定义时间变量入库

Kettle自定义时间变量入库，是指将EXCEL文件或者文本文件中的数据插入到数据库的同时自定义一个时间变量也插入到数据库中。

由于存在插入数据库的EXCEL数据或者文本文件中的数据没有时间字段，或者时间日期不固定，如果跑批调度作业报错时，则不便于删除已入库的数据，所以自定义一个时间变量也入库，可以更直观的看出该部分数据的入库时间，也便于进行查询、删除等操作。

图1：Kettle发送邮件流程图

kettle发送邮件步骤详解

1. Start

开始执行作业。

2. 测试-EXCEL数据入库-转换

将EXCEL中的数据转换入库。

图2：昨日日期变量

2.1 Excel输入

输入流选择Excel输入。

表格类型（引擎）：根据Excel类型，选择XLS或者XLSX。
选中的文件：Excel文件所在的路径。

在工作表标签页中，选择需要输入的Excel数据所在的Sheet页的名称。

头部：如果该Excel数据存在表头，则选中，表示表头数据不入库。
编码：选择UTF-8。

2.2 字段标签中

点击下方的“获取来自头部数据的字段”，则会自动获取到表头。

获取系统信息：可以获取当前系统时间、昨日时间、明天时间、本月/上月/下个月月初/末等时间。

可以点击类型，选择不同时间，如下图所示（这里选择的为昨日时间）：

2.3 字段选择

点击“获取改变的字段”，可以获取到前面步骤中的字段，包括Excel输入中的表头字段和设置的系统时间字段，并可以对时间字段设置格式。

例如：

yyyyMMdd、MM-dd-yyyy HH:mm:ss。

2.4 表输出

用于将Excel数据、文本文件数据、数据库中的数据输出到其他数据库的目标表中。

数据库连接：获取提前配置好的数据库，并选择所使用的数据表来源库。
目标表：选择需要将数据插入的目标表。
指定数据库字段：选中。

选择“数据库字段”标签页，点击“输入字段映射”选择输入流和表字段的一一对应关系，如上图所示。

3. 成功

查看执行结果日志，每一步均为result=[true]，则作业执行成功，任务结束，否则执行失败。

4. 查看入库数据

logdate=’2022-04-19’ 为昨日日期。

END

本文作者：杨华倩（上海新炬王翦团队）

本文来源：“IT那活儿”公众号

GPU云服务器云服务器 kettle hive etl 自定义镜像工具自定义表单工具自定义镜像创建时间

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/129445.html

kettle 开源etl数据抽取工具

摘要：相比其他开源的工具和其他商业的工具，对比下来还是比较强大和好用。 1.为什么要使用数据抽取（1）为了不妨碍业务数据的读取和写入，需要进行数据的抽取，抽取到另外数据库表进行读取（2）对某些总计数据可以进行预先计算，抽取到另外数据库表（3）随访业务数据库为mongodb , 统计程序编程效率低，需要转成sql 类数据库提高效率 2.工具使用 kettle 开源etl工具网址：http...

nevermind 2019-06-26 17:01 评论0 收藏0
kettle下转移mongo中数据到mysql中

摘要：是一款国外开源的工具，纯编写，可以在上运行，数据抽取高效稳定。 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。作为一个数据抽取工具，在建立数据仓库的过程中，免不了需要从不同的数据源中抽取到集中的数据仓库中，下面就拿mongodb抽取到mysql为例，简述抽取数据的步骤：新建转换:test 在test中新建M...

Riddler 2019-08-14 17:52 评论0 收藏0
kettle下转移mongo中数据到mysql中

摘要：是一款国外开源的工具，纯编写，可以在上运行，数据抽取高效稳定。 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。作为一个数据抽取工具，在建立数据仓库的过程中，免不了需要从不同的数据源中抽取到集中的数据仓库中，下面就拿mongodb抽取到mysql为例，简述抽取数据的步骤：新建转换:test 在test中新建M...

beanlam 2019-06-26 17:13 评论0 收藏0