本文1、2、3节介绍了Spark 内存相关之识，第4节描述了常见错误类型及产生原因并给出了解决方案。 1 堆内和堆外内存规划 Executor 的内存管理建立在 JVM 的内...
发简信
IP属地：湖南
-
Spark on Yarn之Executor内存管理 -
thrift请求Broken pipe问题分析定位
线上服务，在使用thrift的过程中，客户端会不定时出现一些org.apache.thrift.transport.TTransportException: java.net...
-
client.RpcRetryingCaller: Call exception
首先说下场景这个问题出现在Spark将Mysql导入Hbase中时遇到的 Spark 通过 BulkLoad 方式写 hbaseSpark将数据写到 hdfs 后程序很久一直...
-
java.util.ConcurrentModificationException详解本想翻译一下java.util.ConcurrentModificationException这篇文章的。但发现讲的不够详细深入，查了一些资料后决定自己扩展一下。水平有限，仅...
-
Flink SQL 写入 Hive表的性能问题现象 写入Hive表的性能，每秒写入记录数，发现性能并不乐观，上有节点背压严重。 Hive Table DDL： 而写入HDFS文件的性能，每秒写入记录数，性能符合期待。 H...
-
python读取.csv文件
.csv Introduction 利用Excel创建一个csv文件image用记事本打开，实际上是这样子的：image 读取csv文件直接用open()打开with ope...
-
Mac Big Sur 升级后 JD-GUI 无法打开的问题修复升级 Big Sur 后发现JD-GUI 打开报错： ERROR launching 'JD-GUI'No suitable Java version found on yo...
-
Flink的处理机制以及侧输出应用Flink EventTime和Watermarkhttps://www.jianshu.com/p/5e735b63fb5b 1、事件驱动的任务 Flink只要不用时间窗口...
-
Kafka的分区数和消费者个数Kafka的分区数是不是越多越好？ 分区多的优点 kafka使用分区将topic的消息打散到多个分区分布保存在不同的broker上，实现了producer和consumer消...
