常用操作托管Hadoop集群 UHadoop

ernest.wang 发布于2022-07-12 17:05 / 1776人阅读

摘要：查看上的历史日志查看上的历史日志任务的日志在任务运行结束之后会上传到上，当日志文件过大无法通过来查看时，可以通过将日志文件从上下载下来查看。挂载在允许的主机上执行

常用操作

本篇目录

应用的Web接口

Hadoop 提供了基于 Web 的用户界面，可通过它查看您的 Hadoop 集群。Web 服务会在主节点上运行（Active NameNode或者Active ResourceManager），绑定外网IP,开放对应应用防火墙端口后可以查看。

web hdfs

可以通过在浏览器地址栏中输入 http://外网ip:50070 来查看hdfs的基本信息。

web yarn

可以通过 http://外网IP:23188/cluster 查看yarn resource manager 信息。

注解：由于resource manager可以动态切换，当节点转换为StandBy节点时，webyarn服务无法切换到active节点。

web hbase

可以通过 http://外网IP:60010/master-status 查看hbase的基本信息。

查看日志

1.查看节点上的日志

可在产品界面选择服务管理，查看相应服务运行的节点位置，登陆对应节点后进入查看所启动服务的服务日志。

各服务日志所在位置如下所示：

位置说明/var/log/hadoop-hdfshdfs服务相关日志/var/log/hadoop-yarnyarn服务日志/var/log/hadoop-yarnyarn服务日志/var/log/hbasehbase服务日志/var/log/hivehive服务日志/var/log/huehue服务日志/var/log/zookeeperzookeeper服务日志 2.提交到yarn的任务日志

用户可以在web yarn页面查看提交到yarn上的任务日志详情。由于任务日志界面需支持能访问集群各个节点，故可在UCloud云平台中的任意一台绑定外网IP的云主机或UHadoop的Master节点上，配置代理或者VPN，以便能够访问到集群中的每个节点。

a.配置vpn

可参考配置openvpn文档配置vpn。

注解：配置完成后，可在访问端加上集群节点中最新的host文件即可（登陆集群中任意节点，查看/etc/hosts）。

b.配置Nginx反向代理服务端配置

安装Nginx

yum install nginx -y

修改配置

新建/etc/nginx/conf.d/proxy.conf 文件中添加如下配置

         server {
             listen   8889;
             client_body_timeout 60000;
             client_max_body_size 1024m;
             send_timeout   60000;
             client_header_buffer_size 16k;
             large_client_header_buffers 4 64k;
             proxy_headers_hash_bucket_size 1024;
             proxy_headers_hash_max_size 4096;
             proxy_read_timeout 60000;
             proxy_send_timeout 60000;
             location / {
             resolver 127.0.0.1;
             proxy_pass http://$http_host$request_uri;
             }
         }

3.启动nginx服务

service nginx restart

4.启动域名服务

service dnsmasq restart

集群节点发生变化时，需要重新启动这个服务。

访问端配置

1.在访问的网页端配置代理

2.配置hosts

需要在hosts中添加代理服务器的/etc/hosts文件中节点的host信息。

例如：

10.19.43.21 uhadoop-wpmitd-master1
10.19.20.134 uhadoop-wpmitd-core1
10.19.133.58 uhadoop-wpmitd-master2

用户登录web yarn页面可通过任务id 来搜索对应任务，查看任务状态，并点击任务，获取任务日志，查看详情进行分析。

3.查看hdfs上的历史日志

yarn任务的日志在任务运行结束之后会上传到hdfs上，当日志文件过大无法通过web来查看时，可以通过将日志文件从hdfs上下载下来查看。

日志文件的目录是：`hdfs://Ucluster/var/log/hadoop-yarn/apps/$SUBMITUSER/logs`

注解：$SUBMITUSER是当前提交用户的名。

配置NFS挂载hdfs到本地

1.修改配置

修改master节点下下面两个配置。

core-site.xml

    <property>
        <name>hadoop.proxyuser.nfsserver.groupsname>
        <value>*value>
        <description>nfsserver有哪些group的权限description>
    property>
    <property>
        <name>hadoop.proxyuser.nfsserver.hostsname>
        <value>hostnamevalue>
        <description>允许启动nfsserver的主机名description>
    property>

修改hdfs-site.xml

    <property>
        <name>nfs.dump.dirname>
        <value>/tmp/.hdfs-nfsvalue>
    property>
    <property>
        <name>nfs.rtmaxname>
        <value>1048576value>
        <description>单次读请求最大字节数description>
    property>
    <property>
        <name>nfs.wtmaxname>
        <value>65536value>
        <description>单次写访问最大字节数 description>
    property>
    <property>
        <name>nfs.exports.allowed.hostsname>
        <value>* rwvalue>
        <description>配置挂载主机对文件的访问权限，例如”192.168.0.0/22 rw ; host.*.example.com ; host1.test.org ro;”description>
    property>

2.启动nfs，在1中配置的允许启动nfs的主机上执行下面操作

    ${HADOOP_HOME}/sbin/hadoop-daemon.sh start portmap
    *一定是root用户才有权限绑定端口。
    ${HADOOP_HOME}/sbin/hadoop-daemon.sh start nfs3
    *一定是hadoop用户启动，才有所有文件的访问权限。
    showmount -e hostname
    Export list for hostname:
    / *

3.挂载

在nfs.exports.allowed.hosts允许的主机上执行

    mkdir -p /data/hdfsnfs
    mount -t nfs -o vers=3,proto=tcp,nolock,noacl hostname:/ /data/hdfsnfs

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/126770.html

托管Hadoop集群快速上手 UHadoop

摘要：也可以将托管集群设置为快捷方式，通过左侧快捷方式菜单栏点击进入。框架集群中仅部署。用于做存储集群，有专属的节点机型。节点管理节点，负责协调整个集群服务。目前仅节点支持绑定。通过云主机内网进行登录。登录密码为集群创建时设置的密码。快速上手本篇目录创建集群提交任务本文档将带领您如何创建UHadoop集群，并使用UHadoop集群完成数据处理任务。创建集群本章简单介绍了用户使用UHadoop服务...

ernest.wang 2022-07-12 17:31 评论0 收藏295
Python开发指南托管Hadoop集群 UHadoop

摘要：开发指南开发指南开发指南如果使用进行机器学习方面的数据分析，需要在集群上安装一些依赖包。以版本为例，安装方法如下是一款专为科学和工程设计的工具包。以版本为例，安装方法如下是下，专门面向机器学习的工具包。 developer/pythondev.mdPython开发指南如果使用pyspark进行机器学习方面的数据分析，需要在集群上安装一些python依赖包。这里将介绍常用的几个依赖包的安装方法...

ernest.wang 2022-07-12 17:18 评论0 收藏2969
元数据管理托管Hadoop集群 UHadoop

摘要：架构架构元数据管理元数据管理元数据管理创建集群时可在控制台开启元数据独立管理。若项目中已开启过元数据独立管理，则新集群开启该功能时，不再创建新的，而是将新集群的元数据存储于已有的中。元数据管理本篇目录介绍产品架构元数据管理介绍UHadoop 支持将 Hive-Metastore 的数据库独立于 Hadoop 集群部署，也支持多个集群访问同一个 Hive 元数据库，可在控制台对其做管理。产品...

ernest.wang 2022-07-12 17:38 评论0 收藏2953
基本操作托管Hadoop集群 UHadoop

摘要：监控数据查看监控数据查看用户可于产品界面右侧弹框中查看集群监控数据，也可进入监控视图中进行详细查看集群及各节点监控数据信息。基本操作本篇目录集群管理服务管理告警与监控数据均衡Yarn Application跟踪集群管理1、进入集群管理页面通过UHadoop集群列表页面进入集群管理页面：2、获取当前节点配置信息本例中，Master 节点数量 2，机型为 C1-large；Core 节点数量为...

ernest.wang 2022-07-12 17:10 评论0 收藏2236
配置openvpn 托管Hadoop集群 UHadoop

摘要：设置，如果选择默认，可以直接回车设置，如果选择默认，可以直接回车创建的同时，也会给创建一个客户端文件，输入客户端文件名这里测试生成一个的文件一路回车下去，会生成文件客户端客户端客户端把部署时生成的客户端用户文件，拷贝到本地。配置openvpn本篇目录1.服务端2.客户端3. 配置hosts按以下步骤，可以在绑定EIP的uhost安装openvpn，下面以centos7操作系统示例：1.服务...

ernest.wang 2022-07-12 16:28 评论0 收藏2154

发表评论

登陆后可评论

0条评论

ernest.wang

男|高级讲师

我要关注我要私信

TA的文章

特朗普胜任，将对跨境电商卖家产生哪些影响？

阅读 283·2024-11-07 18:25
幻兽帕鲁常见问题汇总

阅读 130360·2024-02-01 10:43
在Linux和Windows上部署帕鲁的区别？

阅读 865·2024-01-31 14:58
怎么重启幻兽帕鲁云服务器？

阅读 828·2024-01-31 14:54
幻兽帕鲁自建服务器存档备份及回档 - windows篇

阅读 82765·2024-01-29 17:11
小白必读教程，幻兽帕鲁服务器手动部署教程 - Windows篇

阅读 3047·2024-01-25 14:55
A800GPU租用-A800显卡

阅读 1985·2023-06-02 13:36
5G短信和普通短信的区别

阅读 3032·2023-05-23 10:26

资讯专栏INFORMATION COLUMN

上云采购季！| 2核2G4M爆款云服务器低至59元/年，更有多台、长期优惠，快来选购！

常用操作托管Hadoop集群 UHadoop

常用操作

本篇目录

应用的Web接口

查看日志

配置NFS挂载hdfs到本地

相关文章

**托管Hadoop集群快速上手 UHadoop**

**Python开发指南托管Hadoop集群 UHadoop**

**元数据管理托管Hadoop集群 UHadoop**

**基本操作托管Hadoop集群 UHadoop**

**配置openvpn 托管Hadoop集群 UHadoop**

发表评论

0条评论

ernest.wang

男|高级讲师

TA的文章

特朗普胜任，将对跨境电商卖家产生哪些影响？

幻兽帕鲁常见问题汇总

在Linux和Windows上部署帕鲁的区别？

怎么重启幻兽帕鲁云服务器？

幻兽帕鲁自建服务器存档备份及回档 - windows篇

小白必读教程，幻兽帕鲁服务器手动部署教程 - Windows篇

A800GPU租用-A800显卡

5G短信和普通短信的区别

最新活动

资讯专栏INFORMATION COLUMN

上云采购季！| 2核2G4M爆款云服务器低至59元/年，更有多台、长期优惠，快来选购！

常用操作 托管Hadoop集群 UHadoop

本篇目录

相关文章

发表评论

0条评论

男|高级讲师

TA的文章

最新活动

常用操作托管Hadoop集群 UHadoop