Hadoop完全分布模式安装

IT那活儿发布于2023-01-11 13:20 / 2816人阅读

Hadoop完全分布模式安装

一. Hadoop完全分布式

完全分布式真正利用多台Linux主机来进行部署Hadoop，对集群进行规划，使得Hadoop各个模块分别部署在不同的多台机器上。

二. 搭建过程

1. 所需软件

Jdk版本：jdk-8u162-linux-x64.tar.gz

Hadoop版本：hadoop-2.7.1.tar.gz

环境准备：

Master：192.168.163.128

Slave：192.168.163.129

2. 修改主机名

Master：

hostnamectl set-hostname master

bash

Slave：

hostnamectl set-hostname slave

bash

3. 修改/etc/hosts文件，配置主机域名映射

Master：

vim /etc/hosts

Slave：

vim /etc/hosts

192.168.163.128 master

192.168.163.129 ave

4. 关闭防火墙（两台都要关）

Master：

systemctl stop firewalld

Slave：

systemctl stop firewalld

5. 安装并配置NTP服务，用于时间同步

Master：

yum install -y ntp

#修改配置文件，在末尾添加两条配置

vim /etc/ntp.conf

server 127.127.1.0

fudge 127.127.1.0 startum 10

#启动服务并设置开机自启

systemctl start ntpd

systemctl enable ntpd

Slave：

yum install -y ntpdate

ntpdate master

6. 配置免密码登录（只配置从节点到主节点即可）

Master：

ssh-keygen

ssh-copy-id master

ssh-copy-id slave

7. 创建Hadoop目录

mkdir /opt/Hadoop

cd /opt/Hadoop/

8. 将jdk和Hadoop上传到目录下

9. 安装和配置jdk

#将jdk安装包解压
tar -zxvf jdk-8u162-linux-x64.tar.gz
#编辑/etc/profile文件，配置环境变量
vim /etc/profile
export JAVE_HOME=/opt/Hadoop/jdk1.8.0_162
export PATH=$PATH:$JAVE_HOME/bin
#刷新环境变量，使修改的变量生效
source /etc/profile
#验证是否安装成功
java -version

10. 安装Hadoop

#解压Hadoop的安装包
tar -zxvf hadoop-2.7.1.tar.gz
#编辑/etc/profile文件，配置环境变量
vim /etc/profile
export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#刷新环境变量，使修改的变量生效
source /etc/profile
#验证是否安装成功
hadoop version

11. 修改Hadoop的配置文件

#进入到/opt/Hadoop/hadoop-2.7.1/etc/hadoop下
cd hadoop-2.7.1/etc/hadoop/
#修改core-site.xml
vim core-site.xml
<configuration>
    <property>
        <name>fs.defaultFSname>
        <value>hdfs://master:9000value>
    property>
    <property>
        <name>hadoop.tmp.dirname>
        <value>/opt/hadoop/hadoop-2.7.1/hdfsvalue>
    property>
configuration>
#修改hdfs-site.xml
vim hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replicationname>
        <value>2value>
    property>
    <property>
        <name>dfs.namenode.secondary.http-addressname>
        <value>slave:9001value>
    property>
configuration>
#修改mapred-site.xml.template
vim mapred-site.xml.template
<configuration>
    <property>
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>
configuration>
#修改yarn-site.xml
vim yarn-site.xml
<configuration>
    <property>
        <name>yarn.resourcemanager.hostnamename>
        <value>mastervalue>
    property>
    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
configuration>
#修改slaves文件
vim slaves
master
slave

12. 将修改好的环境复制到从节点上

#将jdk复制到从节点
scp -r /opt/Hadoop/jdk1.8.0_162/ slave:/opt/Hadoop/jdk1.8.0_162/
#将Hadoop复制到从节点
scp -r /opt/Hadoop/hadoop-2.7.1/ slave:/opt/Hadoop/
#将环境变量复制到从节点上
scp /etc/profile slave:/etc/

13. 格式化Hadoop

hdfs namenode -format

14. 启动

start-all.sh

15. 验证启动情况

[root@master Hadoop]# jps
21235 DataNode
21588 NodeManager
21894 Jps
21112 NameNode
21486 ResourceManager
 
[root@slave bin]# ./jps
4849 DataNode
5012 NodeManager
5255 Jps
4943 ondaryNameNode