分布式平台配置：Hadoop+Spark on Yarn

软件环境：

Ubuntu 14.04.1 LTS

Hadoop: 2.6.4

Scala: 2.11.8

Spark: 1.6.1

Jdk:1.8.0_73

写在前面

本例中的演示均为非 root 权限，所以有些命令行需要加 sudo，如果你是 root 身份运行，请忽略 sudo。下载安装的软件建议都放在 home 目录之上，比如~/workspace中，这样比较方便，以免权限问题带来不必要的麻烦。

环境准备
  1. 修改主机名
    我们将搭建1个master，4个slave的集群方案。首先修改主机名vi /etc/hostname，在master上修改为master，其中一个slave上修改为slave1，其他同理。
  2. 配置hosts
    在每台主机上修改host文件
vi /etc/hosts

10.108.122.98      master  #为了能够实现远程登录，最好ip使用对应机器分配的静止ip地址
10.108.123.145      slave1
10.108.121.168      slave2
10.108.121.145      slave3
10.108.121.80        slave5

配置之后ping一下用户名看是否生效

ping slave1
ping slave2
ping slave3
ping slave5

SSH 免密码登录

安装Openssh server

sudo apt-get install openssh-server

在所有机器上都生成私钥和公钥

ssh-keygen -t rsa   #一路回车

需要让机器间都能相互访问，就把每个机子上的id_rsa.pub发给master节点，传输公钥可以用scp来传输。

scp ~/.ssh/id_rsa.pub jlscs@master:~/.ssh/id_rsa.pub.slave1

在master上，将所有公钥加到用于认证的公钥文件authorized_keys中

cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys

将公钥文件authorized_keys分发给每台slave

scp ~/.ssh/authorized_keys jlscs@master:~/.ssh/

在每台机子上验证SSH无密码通信

ssh master
ssh slave1
ssh slave2
ssh slave3
ssh slave5

ssh密码登陆后，但是还是密码失败，提示“Agent admitted failure to sign using the key”

遇到的问题：生成后还是需要输入密码。

解决方法：用ssh-add命令将id_rsa加进来

ssh-add ~/.ssh/id_rsa
安装 Java

从官网下载最新版 Java 就可以，Spark官方说明 Java 只要是6以上的版本都可以，我下的是 jdk-8u73-linux-x64.tar.gz
在~/workspace目录下直接解压

tar -zxvf jdk-8u73-linux-x64.tar.gz

修改环境变量sudo vi /etc/profile，添加下列内容，注意将home路径替换成你的：

export WORK_SPACE=/home/spark/workspace/
export JAVA_HOME=$WORK_SPACE/jdk1.8.0_73
export JRE_HOME=/home/spark/work/jdk1.8.0_73/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

然后使环境变量生效，并验证 Java 是否安装成功

$ source /etc/profile   #生效环境变量
$ java -version         #如果打印出如下版本信息，则说明安装成功
java version "1.8.0_73"
Java(TM) SE Runtime Environment (build 1.8.0_73-b12)
Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)

安装 Scala
在~/workspace中解压

tar -zxvf scala-2.11.8.tgz

再次修改环境变量sudo vi /etc/profile，添加以下内容：

export SCALA_HOME=$WORK_SPACE/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

同样的方法使环境变量生效，并验证 scala 是否安装成功

$ source /etc/profile   #生效环境变量
$ scala -version        #如果打印出如下版本信息，则说明安装成功
Scala code runner version 2.11.8 -- Copyright 2002-2013, LAMP/EPFL
安装配置 Hadoop YARN

下载解压
从官网下载 hadoop2.6.4 版本
同样我们在~/workspace中解压

tar -zxvf hadoop-2.6.4.tar.gz
配置 Hadoop

cd ~/workspace/hadoop-2.6.4/etc/hadoop进入hadoop配置目录，需要配置有以下7个文件：hadoop-env.sh，yarn-env.sh，slaves，core-site.xml，hdfs-site.xml，maprd-site.xml，yarn-site.xml

    1. 在hadoop-env.sh中配置JAVA_HOME
    # The java implementation to use.
    export JAVA_HOME=/home/jlscs/workspace/jdk1.8.0_73
    2. 在yarn-env.sh中配置JAVA_HOME
    # some Java parameters
    export JAVA_HOME=/home/jlscs/workspace/jdk1.8.0_73
    3. 在slaves中配置slave节点的ip或者host，
    slave1
    Slave2
    Slave3
    4. 修改core-site.xml
    <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000/</value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/home/jlscs/workspace/hadoop-2.6.4/tmp</value>
    </property>
    </configuration>
    5. 修改hdfs-site.xml
    <configuration>
    <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>master:9001</value>
    </property>
    <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/jlscs/workspace/hadoop-2.6.0/dfs/name</value>
    </property>
    <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/jlscs/workspace/hadoop-2.6.0/dfs/data</value>
    </property>
    <property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>
    </configuration>
    6. 修改mapred-site.xml
    <configuration>
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    </configuration>
    7. 修改yarn-site.xml
    <configuration>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8032</value>
    </property>
    <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
    </property>
    <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8035</value>
    </property>
    <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master:8033</value>
    </property>
    <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:8088</value>
    </property>
    </configuration>

将配置好的hadoop-2.6.4文件夹分发给所有slaves吧

scp -r ~/workspace/hadoop-2.6.4 spark@slave1:~/workspace/
启动 Hadoop

在 master 上执行以下操作，就可以启动 hadoop 了。

cd ~/workspace/hadoop-2.6.4     #进入hadoop目录
bin/hadoop namenode -format     #格式化namenode
sbin/start-dfs.sh               #启动dfs 
sbin/start-yarn.sh              #启动yarn
验证 Hadoop 是否安装成功

可以通过jps命令查看各个节点启动的进程是否正常。在 master 上应该有以下几个进程：

$ jps  #run on master
3407 SecondaryNameNode
3218 NameNode
3552 ResourceManager
3910 Jps

在每个slave上应该有以下几个进程：

$ jps   #run on slaves
2072 NodeManager
2213 Jps
1962 DataNode

或者在浏览器中输入http://master:8088，应该有 hadoop 的管理界面出来了，并能看到 slave1 和 slave2 和 slave3 等节点。

Spark安装
下载解压

在~/workspace目录下解压

tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz
mv spark-1.6.1-bin-hadoop2.6 spark1.6.1    #原来的文件名太长了，修改下

配置 Spark

cd ~/workspace/spark1.6.1/conf    #进入spark配置目录
cp spark-env.sh.template spark-env.sh   #从配置模板复制
vi spark-env.sh     #添加配置内容

在spark-env.sh末尾添加以下内容（这是我的配置，你可以自行修改）：

export SCALA_HOME=/home/jlscs/workspace/scala-2.11.8
export JAVA_HOME=/home/jlscs/workspace/jdk1.8.0_73
export HADOOP_HOME=/home/jlscs/workspace/hadoop-2.6.4
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=master
SPARK_LOCAL_DIRS=/home/jlscs/workspace/spark1.6.1
SPARK_DRIVER_MEMORY=1G

注：在设置Worker进程的CPU个数和内存大小，要注意机器的实际硬件条件，如果配置的超过当前Worker节点的硬件条件，Worker进程会启动失败。
vi slaves在slaves文件下填上slave主机名：

slave1
slave2
slave3
slave5

将配置好的spark1.6.1文件夹分发给所有slaves吧

scp -r ~/workspace/spark-1.6.1 spark@slave1:~/workspace/

启动Spark

sbin/start-all.sh

验证 Spark 是否安装成功
用jps检查，在 master 上应该有以下几个进程：

$ jps
7949 Jps
7328 SecondaryNameNode
7805 Master
7137 NameNode
7475 ResourceManager

在 slave 上应该有以下几个进程：

$jps
3132 DataNode
3759 Worker
3858 Jps
3231 NodeManager
Paste_Image.png
运行示例
本地模式两线程运行

./bin/run-example SparkPi 10 --master local[2]

Spark Standalone 集群模式运行

./bin/spark-submit
--class org.apache.spark.examples.SparkPi
--master spark://master:8080
lib/spark-1.6.1-hadoop2.6.4.jar
100

Spark on YARN 集群上 yarn-cluster 模式运行

./bin/spark-submit
--class org.apache.spark.examples.SparkPi
--master yarn-cluster \ # can also be yarn-client
lib/spark-examples*.jar
10

Paste_Image.png
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 202,980评论 5赞 476
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,178评论 2赞 380
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 149,868评论 0赞 336
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,498评论 1赞 273
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,492评论 5赞 364
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,521评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,910评论 3赞 395
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,569评论 0赞 256
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,793评论 1赞 296
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,559评论 2赞 319
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,639评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,342评论 4赞 318
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,931评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,904评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,144评论 1赞 259
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 42,833评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,350评论 2赞 342

推荐阅读更多精彩内容