发简信
IP属地：北京
-
部署Ganglia监控Hadoop集群并通过Nagios发送告警邮件的过程基本介绍Ganglia：是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gm...
-
Spark Streaming使用Receiver机制消费Kafka时，任务并发度如何设置？（本文基于Spark 2.1.1、Kafka 0.10.2、Scala 2.11.8、Zookeeper 3.4.9、Kafka-manager...
-
百度天算大数据平台初体验曾经试用过主流大厂提供的大数据平台服务，仅从用户体验角度上来说，各有千秋。 百度天算控制台 功能分类明确，使用简单，组件版本较新，客服响应...
-
一篇漫画理解HDFS读写工作原理浅显易懂的介绍，很多资料对File Blocks副本Location位置的描述是有误的，正确的理解请参考本漫画，后附Hadoop 2.7.3 B...
-
利用Spark提供的属性来提升Spark Web UI的安全性本文基于Spark 2.1.0版本、Hadoop 2.7.3版本 如无特殊说明，本文的Spark Web UI，特指: [Driver Web ...
-
利用Kryo序列化库是你提升Spark性能要做的第一件事本文基于Spark2.1.0版本套用官文Tuning Spark中的一句话作为文章的标题： *Often, choose a serializa...
-
（基于最新的Kafka version 0.10.2 new consumer API ）想要Spark Streaming精确一次消费Topic？拿去不谢，记得点赞和分享！本文基于Spark2.1.0、Kafka 0.10.2、Scala 2.11.8版本 背景： Kafka做为一款流行的分布式发布订阅消息系统，以...
-
Spark Streaming如何消费Kafka的大消息(30M-40MB)本文基于Spark2.1.0版本 虽然很少有生产环境用Kafka传递超过1M消息的场景（因为高吞吐、低延时的要求，Kafka 发布-订阅模型中P...
-
15分钟学会SparkSQL通过JDBC连接外部数据库（PostgreSQL为例）本文基于Spark2.1.0版本 1，先简单介绍一下通过SparkSQL JDBC连接数据库的好处，不过这不是本文的重点 。 JDBC(Java...