发简信
IP属地：河南
-
从0到1起步-跟我进入堆外内存的奇妙世界堆外内存一直是Java业务开发人员难以企及的隐藏领域，究竟他是干什么的，以及如何更好的使用呢？那就请跟着我进入这个世界吧。 一、什么是堆外内存 1、堆内内存（on-heap ...
-
编译Spark源码支持Hive并部署1、Spark源码下载 Spark官网提供了预编译版本的Spark，但是要获得hive支持的Spark版本必须自己下载Spark源码进行编译加入hive支持。 笔者下载了Sp...
-
大佬，问下 Druid web-console 中的时区怎么修改呀 ？
Druid-Druid中修改日志中的时区
基于apache-druid-0.17 概述 部署好druid集群后，发现druid的日志中时区与服务器的时区存在偏差，详见下图：时区异常 经排查各项配置文件，发现是drui...
-
CPU深夜狂飙，一帮大佬都傻眼了···
傍晚时分，警报声乍起，整个Linux帝国都陷入了惊恐之中。 安全部长迅速召集大家商讨应对之策。 “诸位，突发情况，CPU占用率突然飙升，并且长时间没有降下来的趋势，CPU工厂...
-
为什么使用Redis保存Offset而不是MySQL啊 ？
SparkStreaming之使用redis保存Kafka的Offset
本文主要记录使用SparkStreaming从Kafka里读取数据，并使用Redis保存Offset。 相关文章：1.Spark之PI本地2.Spark之WordCount集...
-
5分钟了解spark on yarn零、序言 角色：分布式的框架(比如hdfs、yarn、zookeeper等)大多都会设计成不同的几套程序扮演不同的角色协同工作，比如最简单的master、slaver两种角色...
-
精通spark源码-rdd是如何运行的一、spark执行过程的一个例子 上面的例子就是一个两个数据集进行join然后count的一个操作。那么在运行这段代码的时候spark内部是如何来处理数据并得到最终得结果的呢...
-
spark核心构件之partitioner
spark 核心思想之一就是数据分区，将数据分成很多个part，一个一个的进行处理这样的设置达到了以下的目的。1、实现分布式2、可以减少内存占用3、还能方便的做任务重跑4、而...
-
Kafka—源码—0、源码编译
环境 gradle: Gradle 6.6.1 wget https://downloads.gradle-dn.com/distributions/gradle-6.6.1...
-
写的挺棒的。
combineByKeyWithClassTag这个方法能写篇博客分析下么，学习学习😊😊😊关于Spark算子aggregateByKey、foldByKey、combineByKey
关于spark的算子有很多，今天详细介绍下3个算子aggregateByKey、foldByKey、combineByKey aggregateByKey 首先我们看下源码里...
-
-
