本文翻译自 Hadoop 的官方文档，原文 Hadoop: Setting up a Single Node Cluster
目的
本文介绍了如何快速的搭建一个 Hadoop 单机运行环境，以便你使用 MapReduce 和 Hadoop 分布式文件系统 (HDFS) 运行一些简单的作业。
前提
平台支持
- GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。
- Windows 平台也支持 Hadoop，但后续步骤仅适用于 Linux。关于如何在 Windows 上配置 Hadoop 请看 这里。
所需软件
对 Linux 平台来说，所需软件如下：
- Java™，推荐使用的 Java 版本请参考 HadoopJavaVersions。
- ssh，并且 sshd 服务必须正常运行，以便用 Hadoop 脚本管理远端 Hadoop 守护进程。
安装软件
如果你的集群中尚未安装所需软件你必须先安装它们。
以 Ubuntu Linux 为例：
安装 Java
参考 JDK 的正确安装姿势安装 ssh
$ sudo apt-get install ssh
$ sudo apt-get install rsync
下载
在这里下载 Hadoop 的发行版。
运行 Hadoop 集群的准备工作
解压下载好的安装文件（我这里下载的是 hadoop-2.7.3.tar.gz）：
$ tar zxvf hadoop-2.7.3.tar.gz
编辑 etc/hadoop/hadoop-env.sh 文件，将 JAVA_HOME 修改为你的 Java 安装目录：
export JAVA_HOME="你的 Java 安装目录"
试试如下命令：
$ bin/hadoop
这将显示 hadoop 脚本的用法。
现在，准备工作已经做好了。你可以使用下面任意一种方法开始集群的搭建：
- 本地（单机）模式
- 伪分布式模式
- 完全分布式模式
单机模式
Hadoop 默认作为一个独立的 Java 进程运行在非分布式模式下。这对调试来说很有帮助。
下面的这个例子演示了如何在单机模式下运行 Hadoop（所有操作路径均相对于 Hadoop 安装目录）：
// 创建 input 目录
$ mkdir input
// 复制一些文件到 input 目录作为输入
$ cp etc/hadoop/*.xml input
// 执行一个 mapreduce 作业，该作业将 input 目录下的所有文件作为输入，将匹配到模式 'dfs[a-z.]+' 的字符串作为输出
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
// 查看输出结果
$ cat output/*
伪分布式模式
Hadoop 同样可以在一个节点以伪分布式模式运行，此时每个 Hadoop 守护进程分别以独立的 Java 进程运行。
配置
进行如下配置：
etc/hadoop/core-site.xml：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
etc/hadoop/hdfs-site.xml：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
设置 ssh 免密码登录
尝试输入以下命令：
$ ssh localhost
如果你在不输入密码的情况下无法通过 ssh 连接到 localhost 的话，请执行以下命令：
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
执行
接下来介绍了如何执行一个本地的 MapReduce 作业。
- 格式化文件系统：
$ bin/hdfs namenode -format
- 启动 NameNode 守护进程和 DataNode 守护进程：
$ sbin/start-dfs.sh
Hadoop 守护进程会将日志写入 $HADOOP_LOG_DIR 目录中（默认情况下是 $HADOOP_HOME/logs 目录）
- 通过 web 接口在浏览器中查看 Hadoop 的运行情况；默认可以通过如下地址访问：
- NameNode - http://localhost:50070/
- 在 HDFS 中创建目录，MapReduce 作业需要从这些目录中读取数据：
$ bin/hdfs dfs -mkdir /user
$ bin/hdfs dfs -mkdir /user/<username>
- 从本地上传文件到 HDFS 中：
$ bin/hdfs dfs -put etc/hadoop input
- 运行 Hadoop 提供的示例：
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
- 将输出文件从 HDFS 中下载到本地并且检验结果是否正确：
$ bin/hdfs dfs -get output output
$ cat output/*
或者直接在 HDFS 上查看输出文件：
$ bin/hdfs dfs -cat output/*
- 完成之后可以通过如下命令停止守护进程：
$ sbin/stop-dfs.sh
以 YARN 架构运行
你只需进行很少的配置就可以以 YARN 架构在伪分布式模式下执行 MapReduce 作业。此外，ResourceManager 守护进程 和 NodeManager 守护进程也会启动。
下述步骤基于上一节中的 1 ～ 4 步。
- 进行如下配置：
etc/hadoop/mapred-site.xml：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
etc/hadoop/yarn-site.xml：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
- 启动 ResourceManager 守护进程 和 NodeManager 守护进程：
$ sbin/start-yarn.sh
- 在浏览器中查看 ResourceManager 是否正常运行；默认在 8088 端口：
- ResourceManager - http://localhost:8088/
- 执行 MapReduce 作业。
- 执行完毕可以通过如下命令停止守护进程：
$ sbin/stop-yarn.sh
完全分布式模式
请参考 Hadoop 完全分布式环境搭建
