Azkaba内置的任务类型支持command、java
root@leco:/home/leco# cat foo.job type=command command=echo foo root@leco:/home/leco# zip foo.zip foo.job updating: foo.job (deflated 13%)
我们把job的资源文件可以打包成为zip格式的。然后通过azkaban的web管理平台创建project并上传job压缩包即可。
操作步骤如下:
2:多依赖任务
创建有依赖关系的多个job描述,第一个job:foo.job
root@leco:/home/leco/cc# cat foo.job type=command command=echo foo
将所有job资源文件打到一个zip包中
root@leco:/home/leco/cc# ls foobar.zip foobar.zip
通过azkaban 在hdfs上创建以azkaban为名的目录。
root@leco:/home/leco/cc# ls bar.job foobar.zip foo.job foo.zip hdfs.job root@leco:/home/leco/cc# zip hdfs.zip hdfs.job adding: hdfs.job (deflated 12%) root@leco:/home/leco/cc# cat hdfs.job type=command command=/usr/local/hadoop-2.6.5/bin/hadoop fs -mkdir /azkaban
开始之前检查hdfs
[root@master server]# hadoop fs -ls /|grep azkaban [root@master server]#
开始之前hdfs没有azkaban目录
查看结果
[root@master server]# hadoop fs -ls /|grep azkaban drwxr-xr-x - root supergroup 0 2019-08-13 15:55 /azkaban
Mr任务依然可以使用command的job类型来执行
准备数据
[root@master hadoop]# hadoop fs -mkdir /azkaban_demo [root@master hadoop]# hadoop fs -put /etc/passwd /azkaban_demo [root@master hadoop]# hadoop fs -ls /azkaban_demo/ Found 1 items -rw-r--r-- 3 root supergroup 1159 2019-08-13 16:06 /azkaban_demo/passwd
mrwc
root@leco:/home/leco/cc# cat mrwc.job type=command command=/usr/local/hadoop/bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /azkaban_demo /azkaban_out root@leco:/home/leco/cc# ls mrwc* mrwc.job mrwc.zip
检查
[root@master hadoop]# hadoop fs -ls /azkaban_out ls: `/azkaban_out': No such file or directory
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/127556.html
摘要:否则没有配置环境会报错。重新编译打包就可以 azkaban azkaban 是一个用Java开发的开源调度工具workflow,同类型的工具有用Python开发的 airflow 和 luigi. build 在我的windows上无法build成功,我在CentOS上build成功了 git clone https://github.com/azkaban/azkaban.git c...
第一步:包准备 首先我们先将Azkaban Web服务器、Azkaban执行服务器和MySQL统一拷贝到虚拟机/usr/local/src/azkaban目录下,具体的命令如下:[root@masterzkaban]#ll|awk'{print$NF}' 98600 azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script...
摘要:使用建立一个简单的任务调度系统可以作为任务的调度工具,也可以作为任务和任务的调度工具。更加方便,只要在中增加一个方法,返回对象,然后任务可以直接在初始化的中读取到这个参数。 使用azkaban 建立一个简单的任务调度系统 azkaban 可以作为hadoop 任务的调度工具,也可以作为shell任务和java任务的调度工具。安装过程有点繁琐,见安装文档。 Job Type 见链接 ht...
工作流调度系统一个完整的数据分析系统大都是由海量的任务单元组成shell脚本程序,java,mapreduce程序、hive脚本等等组成,非常复杂,各任务单元之间存在时间先后及前后依赖关系。为了很好地组织起这样的复杂系统,能够按照计划执行,就必须要一个工作流调度系统来调度执行。例如,某个业务系统可能每天产生20G原始数据,我们每天都要对其进行处理。具体处理步骤如下所示:1. 通过Hadoop先将原...
摘要:项目地址前言大数据技术栈思维导图大数据常用软件安装指南一分布式文件存储系统分布式计算框架集群资源管理器单机伪集群环境搭建集群环境搭建常用命令的使用基于搭建高可用集群二简介及核心概念环境下的安装部署和命令行的基本使用常用操作分区表和分桶表视图 项目GitHub地址:https://github.com/heibaiying... 前 言 大数据技术栈思维导图 大数据常用软件安装指...
阅读 1179·2023-02-24 11:21
阅读 1355·2023-02-24 10:55
阅读 2276·2023-02-24 10:47
阅读 3037·2023-02-24 10:44
阅读 765·2023-02-24 10:38
阅读 562·2022-12-25 19:44
阅读 722·2022-12-25 19:39
阅读 823·2022-12-25 19:36