Hadoop 运行环境搭建 2.1 模板 虚拟机 环境准备 0 ） 安装模板虚拟机，IP 地址 192.168.10.100 、 主机名称...

DataNode数据节点 6.1 DataNode 工作 机制 （1）一个数据块在 DataNode 上以文件形式存储在磁盘上，包括两个文件，一...

Hadoop 序列化 2.1 序列化概述 1） 什么是序列化 序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持...

MapReduce 概述 1.1 MapReduce 定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop ...

Yarn 案例实操 注：调整下列参数之前尽量拍摄 Linux 快照，否则后续的案例，还需要重写准备集群。 2.1 Yarn 生产环境核心参数配置...

Yarn 资源调度器Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运...

Hadoop 数据压缩概述1 ）压缩的好处和坏处压缩的优点：以减少磁盘 IO、减少磁盘存储空间。压缩的缺点：增加 CPU 开销。2 ） 压缩原...

MapReduce 框架原理 3.1 InputFormat 数据输入 3.1.1 切片与 与 MapTask 并行度 决定机制 1 ） 问题引...

Hadoop 运行模式 1）Hadoop 官方网站[http://hadoop.apache.org/]2）Hadoop 运行模式包括： 本地...

NameNode 和 和 SecondaryNameNode 5.1 NN 和 和 2NN 工作机制 思考：NameNode 中的元数据是存储在...