1 判定是否有小文件存在 分析：<1> 判定当前路径是否存在以及当前路径是目录而不是某具体文件。<2> RemoteIterator<LocatedFileStatus> ...
发简信
IP属地：广东
-
[HDFS] 文件系统的小文件判定和合并问题
-
Hive数据倾斜（大表join大表）
业务背景 用户轨迹工程的性能瓶颈一直是etract_track_info，其中耗时大户主要在于trackinfo与pm_info进行左关联的环节，trackinfo与pm_i...
-
Nginx之父被捕：程序员业余时间写的代码算公司的？据 ZDNet 报道，近日，俄罗斯的两位开发者突然被捕，其中一人是风靡全球的网页服务器 Nginx 之父 Igor Sysoev。 警方给出的理由是二人涉嫌项目侵权。这个项目...
-
利用VisualVM监控Spark Driver/ExecutorVisualVM是我们平时最常用的Java应用监控和性能分析工具，功能很丰富。我们有时会利用它来监控Spark作业，主要是Driver和Executor的运行情况。Visua...
-
Java 8 Steam 例子整理
IBM: Java 8 中的 Streams API 详解 为什么需要Steam Java 8 中的Steam是对集合 (Collection) 对象功能的增强, 他专注于对...
-
==一套数据，多种引擎（impala/Hive/kylin）一套数据，多种引擎（impala/Hive/kylin） - 大数据和云计算技术 （欢迎关注同名微信公众号） - ITeye技术网站http://jiezhu2007.ite...
