文件系统
- 文件系统由三部分组成
- 文件管理软件:Explorer , Total Commander
- 被管理文件: /home/...
- 文件存储结构:如由超级块, 节点, 数据块, 目录块, 间接块等组成的通用结构
文件系统是对文件存储器空间进行组织和分配, 负责文件存储并对存入的文件进行保护和检索的系统
Hadoop 与 HDFS
HDFS 架构图
HDFS
- Hadoop 实现了一个分布式文件系统, 简称 HDFS.
- Hadoop 是一个框架, HDFS 是其中一个部件
- HDFS 的出现是为了提供大规模数据分布存储能力, 解决单块磁盘传输能力有限等限制, 实现高并发访问.顺序式文件访问
- HDFS 通过分片冗余, 本地校验增强容错能力
- 一个HDFS 包括一个主控节点, NameNode 和一组 DataNode 从节点.
- NameNode 是一个用于管理整个文件系统的命名空间和元数据的, 以及处理来自外界的文件访问请求的主服务器.保存的三种元数据:
- 命名空间, 整个分布式文件系统的目录结构
- 数据块与文件名的映射表
- 每个数据块副本的位置信息, 每个数据块默认有3个副本
元数据
元数据是用于描述要素, 数据集或数据集系列内容, 覆盖范围, 质量, 管理方式, 数据所有者, 数据提供方式等有关的信息, 即数据的数据.
数据块
- HDFS 使用了默认大小为 64MB 或 128MB的块
- 可以将一个文件分为一个或数据块来存储, 每个块为独立的存储单元
HDFS
- 可以将 HDFS 看成一个巨大的硬盘, 使用 fsck 指令查看块信息:
hadoop fsck / -files -blocks
数据的存储过程
HDFS 的各个功能模块
- HDFS 模块
HDFS 负责大数据的存储, 通过将大文件分块后进行分布式存储, HDFS 相对独立, 可为 YARN, HBASE 等其他模块提供服务. - YARN 模块
一个通用的资源协同和任务调度框架, 解决 Hadoop 中 MapReduce 的 NameNode 负载过大而创建. - MapReduce 模块
一个数据处理的计算框架, 通过 Map 阶段, Reduce 阶段来分布式地流失处理数据.
