HTTPFS: 基于HTTP操作hadoop hdfs文件系统 - 大数据处理技术研究、使用 https://my.oschina.net/cloudcoder/blog/277426
摘要: Hadoop提供了一个Java native API来支持对文件系统进行创建,重命名,删除文件或者目录,打开读取或者写文件,设置文件权限等操作。这对于运行在hadoop集群中的应用程序来说是挺好的。但是,运行在集群外部的应用程序需要操作HDFS的时应该怎么办?如果解决这种问题呢?
一、HTTPFS简介
1:httpfs是cloudera公司提供的一个hadoop hdfs的一个http接口,通过WebHDFS REST API 可以对hdfs进行读写等访问
2:与WebHDFS的区别是不需要客户端可以访问hadoop集群的每一个节点,通过httpfs可以访问放置在防火墙后面的hadoop集群
3:httpfs是一个Web应用,部署在内嵌的tomcat中