离线数据分析平台实战——040HDFS&JAVA API（熟悉基础概念跳过）
HDFS结构介绍
HDFS是Hadoop提供的基于分布式的文件存储系统。
全称为Hadoop Distributed File System。
主要由NameNode、DataNode两类节点构成。
其中NameNode节点的主要功能是管理系统的元数据，负责管理文件系统的命令空间，记录文件数据块在DataNode节点上的位置和副本信息，协调客户端对文件系统的访问，以及记录命名空间的改动和本身属性的变动。
DataNode节点的主要功能就是负责节点所在物理节点上的存储管理。
HDFS结构示意图
一个文件存储案例
HDFS特性
HDFS优点：
- 高容错性
- 数据自动保存多个副本
- 副本丢失后，自动恢复
- 适合批处理
- 移动计算而非数据
- 数据位置暴露给计算框架（Block偏移量）
- 适合大数据处理
- GB 、TB 、甚至PB 级数据
- 百万规模以上的文件数量
- 10K+ 节点
- 可构建在廉价机器上
- 通过多副本提高可靠性
- 提供了容错和恢复 机制
HDFS缺点：
- 低延迟数据访问
- 比如毫秒级
- 低延迟与高吞吐率
- 小文件存取
- 占用NameNode 大量内存
- 寻道时间超过读取时间
- 并发写入、文件随机修改
- 一个文件只能有一个写者
- 仅支持append
HDFS文件系统介绍
Hadoop提供的操作HDFS的api接口是以FileSystem为基础的，
在该类中提供一系列操作文件的方法
例如：
文件上传copyFromLocalFile方法，创建文件create方法，
删除文件delete方法等。该类的全称为org.apache.hadoop.fs.FileSystem。
主要的子类有：
DistributedFileSystem, WebHdfsFileSystem等。
通过FileSystem访问远程集群一般情况下需要给定配置信息，
Hadoop通过自定义的Configuration类来给定hadoop相关的连接信息。
Configuration采用延迟加载的模式来加载配置信息，加载顺序是按照代码顺序加载，但是如果在代码中强制指定的话，那么会覆盖文件中的加载。
HDFS创建空文件
方法：createNewFile
参数：f:指定要创建文件的路径，可以为相对路径
返回值：如果创建成功返回true。否则返回false
HDFS写文件
方法：append
参数：
f:指定要写出文件的路径，可以为相对路径。
bufferSize: 缓冲区大小
返回值：如果创建成功获得FSDataOutputStream输出流，否则出现异常信息
HDFS创建文件并输出文件内容
方法：create
参数：
f:指定要创建文件的路径，可以为相对路径
permission:指定文件权限，默认为644(rw-r--r--)
overwrite: 是否覆盖，默认覆盖
bufferSize: 进行写过程中缓存区大小，默认4096
replication: 备份个数，默认3
blockSize: 块大小，默认128MB
progress: 进程通知对象，默认为空
返回值：如果创建成功，返回FSDataOutputStream对象；否则出现异常信息
HDFS读文件内容
方法：open
参数：
f:指定要读取的文件路径，可以为相对路径
bufferSize: 缓冲区大小
返回值：如果创建成功获得FSDataInputStream输出流，否则出现异常信息
HDFS创建文件夹
方法：mkdirs
参数：
f:指定要创建的文件夹路径，可以为相对路径。
permission: 指定创建文件的权限，默认755。
返回值：如果创建成功则返回true；否则返回false。
HDFS上传文件
方法：copyFromLocal
参数：
delSrc:是否删除本地文件，默认true。
overwrite:当目标文件存在的时候，是否覆盖，默认true。
srcs/src:本地文件，可以指定为数组或者单个文件。
dst:集群存储文件。
返回值：无，如果操作失败，会产生异常信息。
其他类似方法：
moveFromLocal从本地移动文件到集群上。
copyToLocal从集群上复制文件到本地。
moveToLocal从集群上移动文件到本地。
HDFS删除文件
方法：delete
参数：
f:要删除的文件路径，可以为绝对路径。
recursive:是否进行递归删除，默认为true。
返回值：如果文件不存在，则返回false。如果指定recursive为false，而且要删除的文件夹不为空，那么抛出异常，如果删除成功返回true。
其他删除方法：
deleteOnExit: 如果存在则返回true，并标记删除，如果不存在，则返回false。
HDFS查看文件属性
方法：getFileStatus
参数：
f:要获取状态属性指定的文件路径，可以为绝对路径。
返回值：如果获取文件属性成功，则返回FileStatus对象。否则发生异常信息。
其他类似方法：
listStatus: 递归的获取文件属性信息。
其他API接口
rename: 修改文件名称。
exists: 指定文件是否存在。
setReplication: 重新设置文件的备份个数。
isDirectory: 判断是否是文件夹。
setOwner: 设置文件所属者信息。
.........
api参考http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5.3.6/api/index.html
