Hadoop：使用 JavaScript 构建

摘要：说明本文所有操作均在环境下进行。任何可以使用来编写的应用，最终会由编写。书中分别介绍了如何使用和结合进行开发。工具会创建作业，发送给各个，同时监控整个作业的执行过程。准备好的运行环境之后开始搭建的运行环境，参考单节点集群配置。

本文所有操作均在 linux 环境下进行。

转载请注明出处。

"任何可以使用JavaScript来编写的应用，最终会由JavaScript编写。"

作为一名小前端，我深受 Jeff Atwood 前辈的鼓舞。上面这条定律便是他提出来的。

最近在学习 Hadoop ，权威指南 中介绍到了 Hadoop Streaming，说 Hadoop Streaming 是 Hadoop 提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为 Mapper 和 Reducer 。书中分别介绍了如何使用 Ruby 和 Python 结合 Hadoop Streaming 进行开发。没有 JS，不开心。我们 JS 这么强大，一定也可以。。。

我们先来分析 Hadoop Streaming 的原理，如下：
mapper 和 reducer 会从标准输入中读取用户数据，一行一行处理后发送给标准输出。Streaming 工具会创建 MapReduce 作业，发送给各个 TaskTracker，同时监控整个作业的执行过程。

分析完原理之后我们知道了只需构造 mapper 和 reducer 即可，他们的工作是从标准输入读取用户数据，以行（hang）为单位处理完成后发送到标准输出。

JavaScript 如何从标准输入输出读写数据呢？别担心，我们有 NodeJS。
准备好 JavaScript 的运行环境之后开始搭建 Hadoop 的运行环境，参考 Hadoop: 单节点集群配置。

先贴目录结构：

$ find .
.
./map
./reduce
./wordcount.txt

map 中的代码如下：

#!/usr/bin/env node

// 引入readline模块
const readline = require("readline")

// 创建readline接口实例
const rl = readline.createInterface({
    input:process.stdin,
    output:process.stdout
})

rl.on("line", line => {
    // 分离每一行的单词
    line.split(" ").map((word) => {
        // 将单词以如下格式写入标准输出
        console.log(`${word}	1`)
    })
})

rl.on("close", () => {
    process.exit(0)
})

reduce 中的代码如下：

#!/usr/bin/env node
const readline = require("readline")

const  rl = readline.createInterface({
    input:process.stdin,
    output:process.stdout,
    terminal: false
})

// 存储键值对 
let words = new Map()

rl.on("line", line => {
    // 解构赋值
    const [word, count] = line.split("	")
    // 如果 Map 中没有该单词，则将该单词放入 Map ，即第一次添加
    if (!words.has(word)) {
        words.set(word, parseInt(count))
    } else {
        // 如果该单词已存在，则将该单词对应的 count 加 1
        words.set(word, words.get(word) + 1)
    }
})

rl.on("close", () => {
    words.forEach((v, k) => {
        // 将统计结果写入标准输出
        console.log(`${k}	${v}`)
    })
    process.exit(0)
})

wordcount.txt 中的内容如下：

JS Java
JS Python
JS Hadoop

目前 map 和 reduce 这两个程序还无法运行，需要加可执行权限，方法如下：

$ chmod +x map reduce

现在可以在终端测试一下程序是否能正确执行：

$ cat wordcount.txt | ./map | ./reduce
JS      3
Java    1
Python  1
Hadoop  1

可以看到，已经正确统计出了词频。

接下来只需把作业提交给 Hadoop ，让它去执行就可以了。

此时要确保 Hadoop 正常运行

在 HDFS 中创建目录：

$ hdfs dfs -mkdir input

将待处理文件上传至 HDFS：

$ hdfs dfs -put wordcount.txt input

此时可以通过 web 接口查看文件是否正确上传：

http://localhost:50070/explor...
如下图所示：

向 Hadoop 提交作业

$ hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar 
> -input input/wordcount.txt 
> -output output 
> -mapper map 
> -reducer reduce 

检查计算结果：

$ hdfs dfs -cat output/*
Hadoop    1
JS        3
Java      1
Python    1

可以看到与之前的结果一致。

解释一下 Hadoop Streaming 的几个参数：

-input：输入文件路径

-output：输出文件路径

-mapper：用户自己写的 mapper 程序，可以是可执行文件或者脚本

-reducer：用户自己写的 reducer 程序，可以是可执行文件或者脚本

Hadoop Streaming 编程
Node.js 命令行程序开发教程
Readline | Node.js v7.7.0 Documentation