在MapReduce执行的过程中，会把任务的原始数据分片到多个Task中执行。想象以下场景，当任务的多数Task都在短时间内完成，只有个别Task执行的时间特别长，从而拖慢了...
发简信
IP属地：北京
-
第十章 计算层优化之数据倾斜 -
第九章 事实表设计总结及补充三种事实表比较 1）事务事实表：记录事务层面事实，跟踪业务过程行为 2）周期快照表：记录指定周期内一些聚集事务值或者度量状态 3）累计快照表：通常由多个时间字段，用于研究业务...
-
第十章 计算层优化之系统优化在大数据离线计算平台上每天会有上万个任务在执行，对cpu、内存、存储资源由极大的消耗，那么如何降低资源使用率、提高计算效率，就涉及到计算优化的问题。从系统优化方面来讲： HB...
-
第九章 事实表设计之累计快照事实表累计快照事实表的主要用于研究事件之间时间间隔，当然并不仅限于此，还有一些特殊用途，可以在实际工作中灵活运用。 设计特点 1）数据不断更新：不同于前面说的两种事实表，累计快照事...
-
第二章 日志采集之浏览器日志采集浏览器页面日志分类： 1）页面浏览（展现）日志：浏览量 PV(page view)、访客量 UV（unique view） 2）页面交互日志采集：用来获取用户兴趣或者优化用户...
-
第二章 日志采集之移动端日志采集移动端日志采集： 1）除了web页面日志采集的相关内容来提升用户体验外，还需要采集各种设备信息，以及各种设备的运行情况，协助开发者分析各类设备特有问题 2）移动端日志采集通过...
-
第二章 日志采集之日志采集的挑战目前大型互联网企业每天日志量以亿为单位，面临的挑战已经不是采集的技术本身，而是如何实现日志数据的结构化。构建规范制定--元数据注册--日志采集--自动化计算--可视化展...
