资讯专栏INFORMATION COLUMN

配置CDH集群及服务

IT那活儿 / 3627人阅读
配置CDH集群及服务

点击上方“IT那活儿”公众号,关注后了解更多内容,不管IT什么活儿,干就完了!!!

CM安装好以后可以进入CM界面开始安装CDH相关服务。

登录Cloudera Manager 管理页面

在chrome浏览器输入:

http://主节点ip地址:7180,输入用户名admin,密码admin进入管理页面。

选择CDH版本

我们选择免费版本:Cloudera Express版本

注意:

  • 选择免费版 Cloudera Express;

  • 许可证选项打√;

  • CDH节点数设置为无限制;

  • 选择核心功能和高级功能。

CDH集群选择主机

  • 192.168.11.216
  • 192.168.11.217
  • 192.168.11.218

注意:

  • 除了独立的deepinsight服务器(这里也不可见),其他主机都应该加入;
  • 如果有特殊考虑,可以暂时不加入。

选择存储库

注意:

  • 这里是指CDH及服务安装包的来源;
  • 原则采用推荐方案:parcel、CDH5.14版本。

启动安装过程

注意:

  • 注意这个过程时间比较长,要耐心等待。

检查主机正确性


/proc/sys/vm/swappiness 未设置为 0。当前设置为 60,修改方法如下:
执行 sysctl vm.swappiness = 0
在/etc/sysctl.conf文件中加入一行 vm.swappiness=0

修改透明最大页面:

echo never> /sys/kernel/mm/transparent_hugepage/defrag
echo never> /sys/kernel/mm/transparent_hu
gepage/enabled

将此命令添加到一个init脚本中,比如 /etc/rc.local,以确保开机后能继续生效。

选择集群服务

选择hdfs、yarn、zookeeper

注意:

  • 开始只安装hdfs、yarn、zookeeper,其余后面安装。

自定义角色分配

注意:

  • 如果节点数大于3,SecondaryNameNode最好不好也NameNode放在同一节点;
  • 服务的分配参加华为FusionInsight HD产品手册。

设置群集参数

NameNode数据目录:/clusterdata/program/dfs/nn
HDFS检查点目录:/clusterdata/program/dfs/snn


注意:

  • hdfs选项中去掉hdfs检查权限避免出现不能访问hdfs的问题。

首次运行成功

关闭HDFS安全模式


hadoop dfsadmin -safemode leave

添加spark(Standalone)服务(可选)


注意:

  • 正常而言,我们安装Spark2.x,不需要安装Spark Standalone;
  • 如果资源不足,可以考虑安装Standalone服务;
  • Spark服务安装和前面添加yarn服务操作是一样的。

本文作者:王 哲(上海新炬王翦团队)

本文来源:“IT那活儿”公众号

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/129411.html

相关文章

  • 什么是cdhkerberos

      在CDH集群中,Kerberos常用于为HDFS(Hadoop分布式文件系统)、YARN(Yet Another Resource Negotiator)等Hadoop服务提供安全认证。Kerberos 是一种网络身份验证协议,它使用密钥加密来安全地验证用户和服务。使用 Kerberos,用户必须先使用一组凭据(通常是用户名和密码)向 Hadoop 集群验证自己的身份,然后才能访问集群上的...

    白马啸西风 评论0 收藏0
  • cdh价格-cdh商业版价格

      CDH是Cloudera公司发行的,本身是100%开源的平台,简单来说:CDH 是一个汇集集群自动化安装、中心化管理、集群监控、报警功能于一体的一个工具,这样的话可以使得集群的安装可以从几天的时间缩短为几个小时,运维人数也会得到相应的减少,可以极大的提高集群管理的效率。  本来是开源免费的,但是从2019 年忽然宣布宣布,所有的 Cloudera 产品版本必须要付费订阅了,并且从2021年...

    白马啸西风 评论0 收藏0
  • docker安装cdh

      Docker是一个开源容器引擎,可以轻松地在任何地方打包,运行和分发应用程序.  在Docker上安装CDH有以下几个步骤:  安装Docker: 在你的操作系统上安装Docker。如果你还没有安装Docker,请参考Docker官方文档来安装Docker。  下载CDH镜像: 使用以下命令下载CDH镜像:  Copy codedocker pull cloudera/quickstart:l...

    白马啸西风 评论0 收藏0

发表评论

0条评论

IT那活儿

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<