程序:wordcount
数据:1G文本文件---input.txt
节点:master 1个,slave 5个
1.开启hadoop
start-all.sh
2.查看进程
jps
3.hdfs创建文件夹
hadoop fs -mkdir /input
4.上传文件至hdfs
hadoop fs -put /opt/hadoop/input.txt /input
5.运行hdfs文件
hadoop jar /opt/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount /input /output
运行结束,打开192.168.190.109:9870
打开192.168.190.109:8088
6.开启JobHistory
在hadoop的sbin目录下
./mr-jobhistory-daemon.sh start historysever
//关闭JobHistory
//mr-jobhistory-daemon.sh stop historysever
jps查看进程,出现JobHistory就证明成功了
查看子节点的情况
hadoop job -list-active-trackers
7.追钟任务执行情况
打开192.168.190.109:8088
查看每个block分到哪三个节点上
打开192.168.190.109:19888查看任务分配情况
能查看程序运行的开始时间,结束时间和运行时间
点击Job ID
点击Map和Reduce,可以看到任务分配情况
map分了9个block,reduce分了1个block(1个block128MB)
点击每一个block,可以看到block的执行情况(3个节点中具体哪个节点执行)
查看block由哪个节点执行,运行时间等信息