oozie创建工作流，手动配置和使用Hue配置

fasss 发布于2019-07-31 10:25 / 1830人阅读

摘要：创建工作流工作流的执行命令参考博客，也可以键入查看帮助手动配置的文件，存放文件可能用到的一些参数注意变量名不要包含特殊字符，否则在中会出现无法解析变量名的问题的路径必须在上，因为整个集群要访问如果为，表示只是测试当前的，并不具体记录

oozie创建工作流

工作流的执行命令参考博客：https://www.jianshu.com/p/6cb3a4b78556，也可以键入oozie help查看帮助

手动配置oozie的workflow

job.properties文件，存放workflow.xml文件可能用到的一些参数
job.properties

# 注意变量名不要包含特殊字符，否则在 spark 中会出现无法解析变量名的问题
# oozie.wf.application.path的路径必须在hdfs上，因为整个集群要访问

nameNode=hdfs://txz-data0:9820
resourceManager=txz-data0:8032
oozie.use.system.libpath=true
oozie.libpath=${nameNode}/share/lib/spark2/jars/,${nameNode}/share/lib/spark2/python/lib/,${nameNode}/share/lib/spark2/hive-site.xml
oozie.wf.application.path=${nameNode}/workflow/data-factory/download_report_voice_and_upload/Workflow
oozie.action.sharelib.for.spark=spark2

archive=${nameNode}/envs/py3.tar.gz#py

# 如果 dryrun 为 true，表示只是测试当前的 workflow，并不具体记录相应 job
dryrun=false

sparkMaster=yarn-cluster
sparkMode=cluster
scriptRoot=/workflow/data-factory/download_report_voice_and_upload/Python
sparkScriptBasename=download_parquet_from_data0_upload_online.py
sparkScript=${scriptRoot}/${sparkScriptBasename}
pysparkPath=py/py3/bin/python3

workflow.xml文件





    
        ${resourceManager}
        ${nameNode}
    

    

    
        
            ${sparkMaster}
            ${sparkMode}
            report_voice_download_pyspark
            ${sparkScriptBasename}
            
                --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=${pysparkPath}
            
            ${sparkScript}#${sparkScriptBasename}
            ${archive}
        

        
        
    

    
        
            Workflow failed, error
            message[${wf:errorMessage(wf:lastErrorNode())}]

将这两个文件放在本地磁盘上面，例如放在文件夹/home/workflow/中

运行命令oozie job -oozie http://txz-data0:11000/oozie -config /home/workflow/job.properties -run即可运行这个workflow

这样手写配置的话，在Hue上面是不可见的，所以后面都是在Hue上面配置workflow，然后再配置Schedule。具体配置见博客https://blog.csdn.net/qq_22918243/article/details/89204111

云服务器 GPU云服务器手动配置网卡信息私有网络手动配置ip 如何使用web登陆和配置防火墙? 云服务器创建配置

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/43803.html

Hue开发指南托管Hadoop集群 UHadoop

摘要：创建任务创建任务选择这个标签拖动到中。页面权限控制页面权限控制页面权限控制点击管理用户组选择要修改的组名称，设置相应权限并保存 Hue开发指南本篇目录1. 配置工作流2. Hue页面权限控制Hue是面向 Hadoop 的开源用户界面，可以让您更轻松地运行和开发 Hive 查询、管理 HDFS 中的文件、运行和开发 Pig 脚本以及管理表。服务默认已经启动，用户只需要配置外网IP，在防火墙中配...

ernest.wang 2022-07-12 17:04 评论0 收藏1340
集群创建智能大数据平台 USDP

摘要：点击创建集群按钮开始创建集群资源点击创建集群按钮开始创建集群资源创建集群创建集群设置地域和可用区信息设置地域和可用区信息请根据您的需要，在创建集群向导中设置新集群所归属的地域及可用区信息。集群创建本篇目录开始创建集群资源开始部署集群服务和组件智能大数据平台USDP集群的创建过程，分为两个部分，即在公有云控制台中，创建USDP的集群资源，待创建完成后，进入您独享的USDP管理服务开始规划并创...

ernest.wang 2022-07-12 17:23 评论1 收藏3013
Oozie开发指南托管Hadoop集群 UHadoop

摘要：开发指南开发指南开发指南本篇目录运行运行定义定义定义工作流，为将多个按照一定的顺序组织起来，按照既定的路径运行的一个整体。配置将定时调度频率改为分钟。一个会创建并执行。例如，，，，则时间为动作的实际创建时间。 Oozie开发指南本篇目录1. 运行Coordinator Job2. Coordinator Action3. Coordinator Application4. Coordinat...

ernest.wang 2022-07-12 17:16 评论0 收藏2923