11篇文章 · 9716字 · 5人关注
-
Hadoop--DataNode工作机制DataNode工作机制 1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，...
-
Hadoop--Hadoop集群守护进程
1 namenode :它是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有 metadate； 2 Quoru...
-
Hadoop--NameNode工作机制NameNode&Secondary NameNode工作机制 1）第一阶段：namenode启动（1）第一次启动namenode格式化后，创建...
-
Hadoop--hdfs写数据/读数据流程Hadoop写数据流程 1）客户端通过Distributed FileSystem模块向namenode请求上传文件，namenode检查目标文...
-
Hadoop--Yarn资源调度器Hadoop作业调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.x默认的资源...
-
Hadoop--Yarn概述/基础架构/工作机制Yarn概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当...
-
Hadoop-面试选择题
Attention Please--文章来自互联网资料整理，如有雷同，纯属李小李抄袭，如有侵权请联系删除 From 李小李面试题源自互联网收集整...
-
Hadoop--ReduceTask机制
1）设置ReduceTask reducetask的并行度同样影响整个job的执行并发度和执行效率，但与maptask的并发数由切片数决定不同，...
-
Hadoop--Shuffle机制Shuffle机制 Mapreduce确保每个reducer的输入都是按键排序的。系统执行排序的过程（即将map输出作为输入传给reducer）...
文集作者
