hadoop搭建

摘要：命令如果是集群做这一步将上的放到其他的目录下。命令远程主机用户名远程主机名或存放路径。修改权限，命令测试是否成功输入用户名密码，然后退出，再次不用密码，直接进入系统。

• root用户密码 itcast
• hadoop用户密码 hadoop

• ①修改主机名

  hostnamectl set-hostname hadoop00

• ②添加hadoop 用户

  创建hadoop 用户
  [root@hadoop00 ~]# adduser hadoop
  为hadoop用户设置密码 
  [root@hadoop00 ~]# passwd hadoop   
  为hadoop用户设置root权限  在sudoers中添加下面内容
  [root@hadoop00 ~]# vim /etc/sudoers
  hadoop ALL=(ALL) ALL 

• ③配置免密码登陆

  -- 配置ssh，实现无密码登陆
  每台虚拟机上，使用   
  ssh-keygen -t rsa    
  一路按回车就行了。
  打开~/.ssh 
  [hadoop@hadoop001 .ssh]$ sudo cat id_rsa.pub >> authorized_keys
   ①在master上将公钥放到authorized_keys里。命令：sudo cat id_rsa.pub >> authorized_keys
   ② 如果是集群做这一步 将master上的authorized_keys放到其他linux的~/.ssh目录下。
    命令：sudo scp authorized_keys hadoop@10.10.11.192:~/.ssh       
     sudo scp authorized_keys 远程主机用户名@远程主机名或ip:存放路径。
   ③修改authorized_keys权限，命令：chmod 644 authorized_keys
   ④测试是否成功
   ssh hadoop00 输入用户名密码，然后退出，再次ssh hadoop00不用密码，直接进入系统。这就表示成功了。
  
  

• ④下载jdk 和 hadoop 放到 ~/software目录下 然后解压到 ~/app目录下

  tar -zxvf 压缩包名字 -C ~/app/

• ⑤配置环境变量

  vi ~/.bash_profile
  export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
  export PATH=$JAVA_HOME/bin:$PATH
  export HADOOP_HOME=/home/hadoop/app/hadoop......
  export PATH=$HADOOP_HOME/bin:$PATH
  
  #保存退出后
  source ~/.bash_profile

• ⑥进入到解压后的hadoop目录

  • 修改hadoop-env.sh

  cd etc/hadoop
  vi hadoop-env.sh
  #找到下面内容添加java home
  export_JAVA_HOME=/home/hadoop/app/jdk1.8.0_91

  • 修改 core-site.xml 在 节点中添加

  
    fs.default.name
    hdfs://hadoop000:8020
  

  • 修改hdfs-site.xml 在 configuration节点中添加

  
      dfs.namenode.name.dir
      /home/hadoop/app/tmp/dfs/name
  
  
      dfs.datanode.data.dir
      /home/hadoop/app/tmp/dfs/data
  
  
      dfs.replication
      1
  

  • 修改 mapred-site.xml
  • 默认没有这个 从模板文件复制

  cp mapred-site.xml.template mapred-site.xml

​ 在mapred-site.xml 的configuration 节点中添加

    mapreduce.framework.name
    yarn

    yarn.nodemanager.aux-services
    mapreduce_shuffle

• ⑦来到hadoop的bin目录

  ./hadoop namenode -format (这个命令只运行一次)

• ⑧ 启动hdfs 进入到 sbin

  ./start-dfs.sh

• ⑨ 启动启动yarn 在sbin中

  ./start-yarn.sh

• 启动后 jps 看到 说明伪分布式搭建成功

  6145 DataNode
  6514 ResourceManager
  6612 NodeManager
  67065 Jps
  6282 SecondaryNameNode
  6046 NameNode