摘要：创建任务创建任务选择这个标签拖动到中。页面权限控制页面权限控制页面权限控制点击管理用户组选择要修改的组名称，设置相应权限并保存
Hue是面向 Hadoop 的开源用户界面，可以让您更轻松地运行和开发 Hive 查询、管理 HDFS 中的文件、运行和开发 Pig 脚本以及管理表。服务默认已经启动，用户只需要配置外网IP，在防火墙中配置开放端口就可以了。如果没有安装hue，可以在集群的"服务管理"页面开启Hue。
访问地址: http://外网ip:8888
默认用户名/密码：hadoop/hadoop或者hue/hue， 用户登陆后可以自行更改。
启用Hue的工作流功能，需要在集群上安装。可以在集群的"服务管理"页面启用Oozie。
1.1 创建新的工作流在浏览器中依次点击【Workflows】->【Editors】->【Wokflows】，进入Workflow Editor。然后点击页面右侧的【Create】按钮。
从action中拖动spark的标签到工作流中。点击右上角的【Settings】按钮，出现一个弹出窗口，我们可以在这里为Workflow设置变量名，并设置Workspace。
现在，添加input和output这两个变量，并将Workspace设置为HDFS的目录/user/admin/workspaces，如下：
设置好后，点击右上角的叉关闭这个弹出窗口，回到之前的页面（现在还需要自己将Spark Job所需的Jar包放入相应的HDFS目录中）。
我们将【Spark】图标拖到相应的位置，然后继续进行设置。我们设置了Jar包的路径 lib/oozie-examples.jar。还要设置main class。
注意这是HDFS路径，且是相对于Workspace的路径（所以实际路径就是/user/admin/workspaces/lib/oozie-examples.jar）
由于这个main class的作用的是复制HDFS的文件，它在运行时需要给main方法传入两个参数，分别是src path和dest path，所以这里我们继续添加参数，如下图：
这里的${input}和${output}就是之前我们在【settings】中设置的变量名。
好了，一切都设置好了之后，点击右上角的【Save】按钮。
1.3 创建Hive任务uhadoop上使用的是hive-server2，所以这里选择hive-server2标签拖动到action中。
然后，将准备好的sql脚本上传到hdfs上，并配置提交任务的参数
如果定义了ufd可以通过文件的参数来指定
最后，保存工作流。
选择sqoop1这个标签拖动到action中。然后，添加需要执行的Sqoop命令。
注意：
1.密码不能加额外的引号，hue会把-p 参数后面的所有内容都解释为密码；
2.Sqoop 要把任务分发到所有的集群节点，要保证集群所有节点对目标数据库的读写权限。
最后，保存工作流。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/126757.html
摘要：也可以将托管集群设置为快捷方式，通过左侧快捷方式菜单栏点击进入。框架集群中仅部署。用于做存储集群，有专属的节点机型。节点管理节点，负责协调整个集群服务。目前仅节点支持绑定。通过云主机内网进行登录。登录密码为集群创建时设置的密码。 快速上手本篇目录创建集群提交任务本文档将带领您如何创建UHadoop集群，并使用UHadoop集群完成数据处理任务。创建集群本章简单介绍了用户使用UHadoop服务...
摘要：集群运行慢时，通常会在日志中可以查找到明显的异常，或者花费时间长的操作。检查集群节点的运行状态检查集群节点的运行状态管理群集上部署的各种服务。如果主节点遇到性能问题，整个群集都会受到影响。工作的不均衡分配可能会导致处理速度较慢。 故障排查本篇目录任务执行失败排查工具故障描述集群运行速度慢任务执行失败1.查看console输出日志查看任务执行时控制台输出的log，检查是否有ERROR2.查看任...
摘要：开发指南开发指南开发指南本篇目录运行运行定义定义定义工作流，为将多个按照一定的顺序组织起来，按照既定的路径运行的一个整体。配置将定时调度频率改为分钟。一个会创建并执行。例如，，，，则时间为动作的实际创建时间。 Oozie开发指南本篇目录1. 运行Coordinator Job2. Coordinator Action3. Coordinator Application4. Coordinat...
摘要：架构架构元数据管理元数据管理元数据管理创建集群时可在控制台开启元数据独立管理。若项目中已开启过元数据独立管理，则新集群开启该功能时，不再创建新的，而是将新集群的元数据存储于已有的中。 元数据管理本篇目录介绍产品架构元数据管理介绍UHadoop 支持将 Hive-Metastore 的数据库独立于 Hadoop 集群部署，也支持多个集群访问同一个 Hive 元数据库，可在控制台对其做管理。产品...
摘要：查看上的历史日志查看上的历史日志任务的日志在任务运行结束之后会上传到上，当日志文件过大无法通过来查看时，可以通过将日志文件从上下载下来查看。挂载在允许的主机上执行 常用操作本篇目录应用的Web接口查看日志配置NFS挂载hdfs到本地应用的Web接口Hadoop 提供了基于 Web 的用户界面，可通过它查看您的 Hadoop 集群。Web 服务会在主节点上运行（Active NameNode或...
阅读 114·2024-11-07 18:25
阅读 130164·2024-02-01 10:43
阅读 789·2024-01-31 14:58
阅读 764·2024-01-31 14:54
阅读 82582·2024-01-29 17:11
阅读 2890·2024-01-25 14:55
阅读 1928·2023-06-02 13:36
阅读 2870·2023-05-23 10:26
