1 切片与MapTask并行度决定机制 MapTask并行度决定Map阶段的任务处理并发度,进而影响Job的处理速度 MapTask并行度决定机制 数据块：blocks是hd...
发简信
IP属地：山东
-
1. InputFormat 数据输入
-
Hadoop集群搭载经历之hadoop配置tps：同样方式上传hadoop安装包并且解压到/opt/同样方式配置hadoop环境 1. 各个服务器节点之间配置免密码登录（对自己也要配置） 修改vi /etc/host...
-
Hadoop集群搭载经历之jdk配置tips：运行hadoop的话必须在服务器上面配置jdk，提前自己下好 1.将jdk传到linux 在cmd里面输入sftp root@xxx.xxx.xxx.xxx；@后面...
-
Hadoop集群搭载经历之linux配置iptips：我选择的是centos7最小化安装。 1. 查看并配置windows网卡（vmware的虚拟网卡） 1.0 安装虚拟机时要采用nat网络方式，桥接方式在校园网的环境...
-
Hadoop_MapReduce自定义Bean序列化
实现序列化需要七步 实现Writable接口 反序列化是需要调用空参构造方法，所以需要创建空参构造方法。 重写序列化方法（writer） 重写反序列化方法（read） 注意序...
-
Hadoop——MapReduce——WordCount手写经历
因为我的是mac而且把shell换成了zsh所以在配置maven环境变量时，并不是在.bash_profile里面配置而是在.zshrc里面配置maven的环境变量 相关代码...
-
Hadoop之MapReduce学习总结
优点 MapReduce 易于编程，仅仅实现一些简单的接口，就可以完成一个分布式程序。并且部署到廉价的服务器上。良好的扩展性，通过简单的增加服务器就可以增加它的运算性能高容错...
-
-
初学Hadoop常犯错误
1. Linux一定要对自己配置ssh免密码登陆 2. 向Hadoop上传文件 忘记填写 Hadoop的问价路径 忘记存储Hadoop位置bin/hdfs dfs -put ...
-
Linux开机自动启动sh脚本
1.编写sh脚本 如果想要执行命令记得在命令结尾使用&如 ssh root@111.111.111.111& 给sh脚本赋予执行命令 chmod +x XXX.sh 给/et...
-
Hadoop学习- grep 未知的名称或服务
grep 问题简述 ： 未知的名称或服务 cp etc/hadoop/.xml input cat output/原因是：hostname与/etc/hosts中的不对应。解...
-
Linux 实用指令
Linux系统运行级别 关机单用户（找回密码）多用户无网络多用户有网络保留图形界面重启切换到指定的运行级别 init 3配置文件 /etc/inittable linux文件...
-
Linux服务器关机和重启
shutdown 关机 默认一分钟后关机；shutdown -h now 立刻关机shutdown -h 2 两分钟后关机shutdown -r now 立刻重启 reboo...
-
vi 快捷键使用方法
vi编辑器有三种模式，模式之间可以相互转化 正常模式、插入模式、命令行模式 正常模式----》插入模式 ： i/I: insert(插入) 在当前字符到前面开始输入字符a/A...
-
SSH反向隧道搭建和保持SSH长时间不断开设置
两个内网机器怎么SSH连接 起初我得初想时在机房SSH连接操作宿舍的三个Linux虚拟机，但是装上虚拟机后发现，笔记本不能访问虚拟机； 百度之后才明白，两个内网并且不在同一网...
-
JFrame 背景色设置frame.setBackground(new Color(65, 54, 238)); 不会显示 因为在 JFrame创建时就已经 在JFrame上面添加了 Panel 所...
-
用RandomAccessFile (读写流)模仿数据库写法
package demo1; import java.io.File; import java.io.IOException; import java.io.RandomAc...