单机版hadoop集群的搭建

1. 下载安装

官网下载链接

1.1 这里选择安装的是2.9.2,使用下面命令进行下载:

1 # cd ~/software
2 wget http://apache.communilink.net/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

1.2 解压重命名

1 tar -xzvf hadoop-2.9.2.tar.gz
2 mv hadoop-2.9.2 hadoop

1.3 配置环境变量

使用vim编辑~/.bashrc文件,加入以下配置(目录换成自己的安装目录):
1 export HADOOP_HOME=/software/hadoop
2 export HADOOP_INSTALL=$HADOOP_HOME
3 export HADOOP_MAPRED_HOME=$HADOOP_HOME
4 export HADOOP_COMMON_HOME=$HADOOP_HOME
5 export HADOOP_HDFS_HOME=$HADOOP_HOME
6 export YARN_HOME=$HADOOP_HOME
7 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
8 export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
9 export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
使用source命令使配置生效: source ~/.bashrc
可以使用echo $PATH 输出查看是否正确

2. 简单配置

2.1 编辑core-site.xml

文件位置:$HADOOP_HOME/etc/hadoop/core-site.xml

命令:

1 cd /software/hadoop/etc/hadoop
2 vim core-site.xml

配置如下:

 1 <configuration>
 2     <!-- 指定运行端口 -->
 3     <property>
 4         <name>fs.defaultFS</name>
 5         <value>hdfs://localhost:9000</value>
 6     </property>
 7     <!-- 指定临时目录 -->
 8     <property>
 9         <name>hadoop.tmp.dir</name>
10         <value>/data/hadoop/tmp</value>
11     </property>
12 </configuration>

2.2 编辑hdfs-site.xml

文件位置: $HADOOP_HOME/etc/hadoop/hdfs-site.xml

命令:

1 cd /software/hadoop/etc/hadoop
2 vim hdfs-site.xml

配置:

1 <configuration>
2     <!-- 备份数量 -->
3     <property>
4         <name>dfs.replication</name>
5         <value>1</value>
6     </property>
7 </configuration>

2.3 编辑mapred-site.xml

位置:$HADOOP_HOME/etc/hadoop/mapred-site.xml.template

命令:

1 cd /software/hadoop/etc/hadoop
2 # 复制并重命名
3 cp mapred-site.xml.template mapred-site.xml
4 vim mapred-site.xml

配置:

1 <configuration>
2     <!-- 配置资源管理器 -->
3     <property>
4         <name>mapreduce.framework.name</name>
5         <value>yarn</value>
6     </property>
7 </configuration>

2.4 编辑yarn-site.xml

位置: $HADOOP_HOME/etc/hadoop/yarn-site.xml

命令:

1 cd /software/hadoop/etc/hadoop
2 vim yarn-site.xml

配置:

1 <configuration>
2     <property>
3         <name>yarn.nodemanager.aux-services</name>
4         <value>mapreduce_shuffle</value>
5     </property>
6 </configuration>

3. 启动Hadoop

 1 # 第一次,格式化namenode
 2 hdfs namenode -format
 3 # 运行HDFS
 4 start-dfs.sh
 5 # 运行yarn
 6 start-yarn.sh
 7 # 查看运行状况(前提是安装jdk并配置环境变量)
 8 jps
 9 # 停止hdfs
10 stop-dfs.sh
11 # 停止yarn
12 stop-yarn.sh

原文链接:https://www.cnblogs.com/dintalk/p/12234254.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,056评论 5 474
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,842评论 2 378
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 148,938评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,296评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,292评论 5 363
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,413评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,824评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,493评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,686评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,502评论 2 318
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,553评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,281评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,820评论 3 305
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,873评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,109评论 1 258
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,699评论 2 348
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,257评论 2 341

推荐阅读更多精彩内容

  • 之前和朋友探讨:看书是花费时间的,时间是珍贵的,怎样去挑一本好书,才对得起这段珍贵的时光就显得无比重要。讨论...
    才饮韩江水阅读 586评论 0 3
  • 终南捷径 乏善可陈 一往无前春风得意马蹄疾 我跋涉的莽野 旅行,看书,坐下,走开,劳动,休闲,发言,沉默,别人,自...
    _杨跑跑_阅读 256评论 0 0
  • static:无特殊定位,对象遵循正常文档流。top,right,bottom,left等属性不会被应用。rela...
    wujunkui阅读 211评论 0 0