hadoop编译---+2.x编译

Taste 发布于2019-08-19 11:12 / 2304人阅读

摘要：编译系统为了是更兼容当前使用的操作系统所以介绍下如何编译当前使用平台的准备软件其他版本测试会有问题建议用的一种数据交换的格式，它独立于语言，独立于平台平台环境安装略安装解压修改环境变量添加以下变量添加阿里源查找标签安

hadoop+2.X编译(centos系统)

为了是hadoop更兼容当前使用的操作系统所以介绍下如何编译当前使用平台的hadoop

1.准备软件

jdk 1.8+

Maven 3.5.4

protobuf 2.5.0 (其他版本测试会有问题建议用2.5.0)

 google的一种数据交换的格式，它独立于语言，独立于平台

hadoop-2.x.x-src

ant-1.9.7

平台环境 centos 6.7

1.1 jdk安装(略) 1.2 maven安装

解压

cd /export/software/
tar -zxvf apache-maven-3.5.4-bin.tar.gz  -C ../servers/
cd /export/servers/
mv apache-maven-3.5.4 maven-3.5.4/

修改环境变量

vim /etc/profile
添加以下变量
#maven
export M2_HOME=/export/servers/maven-3.5.4
export PATH=$PATH:$M2_HOME/bin

添加阿里源()

查找mirrors 标签

    

        alimaven
        aliyun maven
        http://maven.aliyun.com/nexus/content/groups/public/
        central

1.3protobuf安装

官方github的安装教程

yum install glibc-headers
yum install gcc-c++ 
yum  install  gcc
yum install  make 

yum -y install autoconf automake
yum -y install zlib zlib-devel openssl openssl-devel pcre-devel

解压

tar -zxvf protobuf-2.5.0.tar.gz

编译

cd  /protobuf-2.5.0
./ configure
make
make  install

测试

protoc  --version

1.4CMake安装

yum  install  cmake     
yum  install  openssl-devel
yum  install rses-devel

1.5 ant安装

解压

tar -zxvf  apache-ant-1.9.4-bin.tar.gz

配置变量

vim /etc/profile

export ANT_HOME=/export/servers/apache-ant-1.9.7
export PATH=$PATH:$ANT_HOME/bin

source /etc/profile

测试

ant  -version

2 编译hadoop

解压hadoop

tar -zxvf hadoop-2.7.5-src.tar.gz

查看环境要求

cd hadoop-2.7.5-src
vim BUILDING.txt

东西太多自己看吧

编译

cd hadoop-2.7.5-src
mvn package -Pdist,native -DskipTests -Dtar
或者
mvn  package -DeskipTests -Pdist,native

等待结果

cd

同样在刚刚进行编译的那个目录下，有一个
hadoop-dist文件夹，进入里面的target文件夹，然后就可以看到编译成功64位的hadoop文件，解压后的在
hadoop-2.5.2 这个文件夹中，同时还生成了一个压缩包：hadoop-2.5.2-tar.gz 这个压缩包可以拷贝到别的centos-6.7机器上进行安装

USDP大数据平台编译hadoop hadoop编译如何编译hadoop eclipse编译hadoop

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/77188.html

IntelliJ IDEA Windows下Spark开发环境部署

摘要：运行数据准备随便准备一个文档格式不限，上传到上。解决因为原来是用的版本为相应的依赖包官网已经不再支持，所以更新的平台的环境为，相应的文档很少，更改版本为。星期六星期一由为知笔记迁移到。 0x01 环境说明博客地址：http://www.cnblogs.com/ning-wang/p/7359977.html 1.1 本地 OS: windows 10jdk: jdk1.8.0_121...

DevWiki 2019-08-15 12:12 评论0 收藏0
[原]如何利用hadoop RPC框架实现和NameNode的交互

摘要：博客原文这篇文章主要介绍如何在已有的框架上，自定义新的方法实现和的交互。在此之前，我们需要准备的源码版本版本中采用了简称作为序列化和反序列化的工具，所以我们在修改源码时需要按照相应规则编写来实现数据的传输。博客原文：hackershell 这篇文章主要介绍如何在已有的Hadoop RPC框架上，自定义新的方法实现和NameNode的交互。在此之前，我们需要准备： h...

silenceboy 2019-08-14 12:04 评论0 收藏0