离线数据分析平台实战——040HDFS&JAVA API(熟悉基础概念跳过)
HDFS结构介绍
HDFS是Hadoop提供的基于分布式的文件存储系统。
全称为Hadoop Distributed File System。
主要由NameNode、DataNode两类节点构成。
其中NameNode节点的主要功能是管理系统的元数据,负责管理文件系统的命令空间,记录文件数据块在DataNode节点上的位置和副本信息,协调客户端对文件系统的访问,以及记录命名空间的改动和本身属性的变动。
DataNode节点的主要功能就是负责节点所在物理节点上的存储管理。
HDFS结构示意图
一个文件存储案例
HDFS特性
HDFS优点:
- 高容错性
- 数据自动保存多个副本
- 副本丢失后,自动恢复
- 适合批处理
- 移动计算而非数据
- 数据位置暴露给计算框架(Block偏移量)
- 适合大数据处理
- GB 、TB 、甚至PB 级数据
- 百万规模以上的文件数量
- 10K+ 节点
- 可构建在廉价机器上
- 通过多副本提高可靠性
- 提供了容错和恢复 机制
HDFS缺点:
- 低延迟数据访问
- 比如毫秒级
- 低延迟与高吞吐率
- 小文件存取
- 占用NameNode 大量内存
- 寻道时间超过读取时间
- 并发写入、文件随机修改
- 一个文件只能有一个写者
- 仅支持append
HDFS文件系统介绍
Hadoop提供的操作HDFS的api接口是以FileSystem为基础的,
在该类中提供一系列操作文件的方法
例如:
文件上传copyFromLocalFile方法,创建文件create方法,
删除文件delete方法等。该类的全称为org.apache.hadoop.fs.FileSystem
。
主要的子类有:
DistributedFileSystem
, WebHdfsFileSystem
等。
通过FileSystem访问远程集群一般情况下需要给定配置信息,
Hadoop通过自定义的Configuration类来给定hadoop相关的连接信息。
Configuration采用延迟加载的模式来加载配置信息,加载顺序是按照代码顺序加载,但是如果在代码中强制指定的话,那么会覆盖文件中的加载。
HDFS创建空文件
方法:createNewFile
参数:f:指定要创建文件的路径,可以为相对路径
返回值:如果创建成功返回true。否则返回false
HDFS写文件
方法:append
参数:
f:指定要写出文件的路径,可以为相对路径。
bufferSize: 缓冲区大小
返回值:如果创建成功获得FSDataOutputStream输出流,否则出现异常信息
HDFS创建文件并输出文件内容
方法:create
参数:
f:指定要创建文件的路径,可以为相对路径
permission:指定文件权限,默认为644(rw-r--r--)
overwrite: 是否覆盖,默认覆盖
bufferSize: 进行写过程中缓存区大小,默认4096
replication: 备份个数,默认3
blockSize: 块大小,默认128MB
progress: 进程通知对象,默认为空
返回值:如果创建成功,返回FSDataOutputStream对象;否则出现异常信息
HDFS读文件内容
方法:open
参数:
f:指定要读取的文件路径,可以为相对路径
bufferSize: 缓冲区大小
返回值:如果创建成功获得FSDataInputStream输出流,否则出现异常信息
HDFS创建文件夹
方法:mkdirs
参数:
f:指定要创建的文件夹路径,可以为相对路径
。
permission: 指定创建文件的权限,默认755
。
返回值:如果创建成功则返回true;否则返回false
。
HDFS上传文件
方法:copyFromLocal
参数:
delSrc:是否删除本地文件,默认true。
overwrite:当目标文件存在的时候,是否覆盖,默认true
。
srcs/src:本地文件,可以指定为数组或者单个文件
。
dst:集群存储文件
。
返回值:无,如果操作失败,会产生异常信息
。
其他类似方法:
moveFromLocal从本地移动文件到集群上
。
copyToLocal从集群上复制文件到本地
。
moveToLocal从集群上移动文件到本地
。
HDFS删除文件
方法:delete
参数:
f:要删除的文件路径,可以为绝对路径
。
recursive:是否进行递归删除,默认为true
。
返回值:如果文件不存在,则返回false。如果指定recursive为false,而且要删除的文件夹不为空,那么抛出异常,如果删除成功返回true
。
其他删除方法:
deleteOnExit: 如果存在则返回true,并标记删除,如果不存在,则返回false
。
HDFS查看文件属性
方法:getFileStatus
参数:
f:要获取状态属性指定的文件路径,可以为绝对路径
。
返回值:如果获取文件属性成功,则返回FileStatus对象。否则发生异常信息
。
其他类似方法:
listStatus: 递归的获取文件属性信息
。
其他API接口
rename: 修改文件名称。
exists: 指定文件是否存在。
setReplication: 重新设置文件的备份个数。
isDirectory: 判断是否是文件夹。
setOwner: 设置文件所属者信息。
.........
api参考http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5.3.6/api/index.html