azkaban的使用方法

白马啸西风发布于2022-09-07 15:10 / 903人阅读

1：单任务

Azkaba内置的任务类型支持command、java

root@leco:/home/leco# cat foo.job 
type=command
command=echo foo
root@leco:/home/leco# zip foo.zip foo.job 
updating: foo.job (deflated 13%)

我们把job的资源文件可以打包成为zip格式的。然后通过azkaban的web管理平台创建project并上传job压缩包即可。

操作步骤如下：

图片.png

2：多依赖任务

创建有依赖关系的多个job描述,第一个job：foo.job

root@leco:/home/leco/cc# cat foo.job 
type=command
command=echo foo

将所有job资源文件打到一个zip包中

root@leco:/home/leco/cc# ls foobar.zip 
foobar.zip

图片.png

3：HDFS 任务¶

通过azkaban 在hdfs上创建以azkaban为名的目录。

root@leco:/home/leco/cc# ls
bar.job  foobar.zip  foo.job  foo.zip  hdfs.job
root@leco:/home/leco/cc# zip hdfs.zip hdfs.job 
  adding: hdfs.job (deflated 12%)
root@leco:/home/leco/cc# cat hdfs.job 
type=command
command=/usr/local/hadoop-2.6.5/bin/hadoop fs -mkdir /azkaban

开始之前检查hdfs

[root@master server]# hadoop fs -ls /|grep azkaban
[root@master server]#

开始之前hdfs没有azkaban目录

查看结果

[root@master server]# hadoop fs -ls /|grep azkaban
drwxr-xr-x   - root supergroup          0 2019-08-13 15:55 /azkaban

4. MapReduce任务¶

Mr任务依然可以使用command的job类型来执行

准备数据

[root@master hadoop]# hadoop fs -mkdir /azkaban_demo
[root@master hadoop]# hadoop fs -put /etc/passwd /azkaban_demo
[root@master hadoop]# hadoop fs -ls /azkaban_demo/
Found 1 items
-rw-r--r--   3 root supergroup       1159 2019-08-13 16:06 /azkaban_demo/passwd

mrwc

root@leco:/home/leco/cc# cat mrwc.job 
type=command
command=/usr/local/hadoop/bin/hadoop  jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar  wordcount /azkaban_demo /azkaban_out

root@leco:/home/leco/cc# ls mrwc*
mrwc.job  mrwc.zip

检查

[root@master hadoop]# hadoop fs -ls /azkaban_out
ls: `/azkaban_out': No such file or directory

图片.png

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/127556.html

azkaban 安装

摘要：否则没有配置环境会报错。重新编译打包就可以 azkaban azkaban 是一个用Java开发的开源调度工具workflow,同类型的工具有用Python开发的 airflow 和 luigi. build 在我的windows上无法build成功，我在CentOS上build成功了 git clone https://github.com/azkaban/azkaban.git c...

luqiuwen 2019-08-15 12:21 评论0 收藏0
azkaban 部署-azkaban 的部署和应用

第一步：包准备首先我们先将Azkaban Web服务器、Azkaban执行服务器和MySQL统一拷贝到虚拟机/usr/local/src/azkaban目录下，具体的命令如下：[root@masterzkaban]#ll|awk'{print$NF}' 98600 azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script...

白马啸西风 2022-09-06 18:40 评论0 收藏0
使用azkaban 建立一个简单的任务调度系统

摘要：使用建立一个简单的任务调度系统可以作为任务的调度工具，也可以作为任务和任务的调度工具。更加方便，只要在中增加一个方法，返回对象，然后任务可以直接在初始化的中读取到这个参数。使用azkaban 建立一个简单的任务调度系统 azkaban 可以作为hadoop 任务的调度工具，也可以作为shell任务和java任务的调度工具。安装过程有点繁琐，见安装文档。 Job Type 见链接 ht...

Bmob 2019-08-15 12:27 评论0 收藏0
cdhazkaban-cdhazkaban介绍、安装和使用

工作流调度系统一个完整的数据分析系统大都是由海量的任务单元组成shell脚本程序，java，mapreduce程序、hive脚本等等组成，非常复杂，各任务单元之间存在时间先后及前后依赖关系。为了很好地组织起这样的复杂系统，能够按照计划执行，就必须要一个工作流调度系统来调度执行。例如，某个业务系统可能每天产生20G原始数据，我们每天都要对其进行处理。具体处理步骤如下所示：1. 通过Hadoop先将原...

白马啸西风 2022-09-06 18:25 评论0 收藏0
大数据入门指南（GitHub开源项目）

摘要：项目地址前言大数据技术栈思维导图大数据常用软件安装指南一分布式文件存储系统分布式计算框架集群资源管理器单机伪集群环境搭建集群环境搭建常用命令的使用基于搭建高可用集群二简介及核心概念环境下的安装部署和命令行的基本使用常用操作分区表和分桶表视图项目GitHub地址：https://github.com/heibaiying... 前言大数据技术栈思维导图大数据常用软件安装指...

guyan0319 2019-08-19 11:46 评论0 收藏0