STS（SparkThrfitServer）版本 spark-3.2.1-bin-hadoop3.2 问题表现 Spark UI 经常无响应 STS 经常挂掉 问题分析 获取...
发简信
IP属地：山东
-
SparkThriftServer内存泄漏排查 -
数据部门起步阶段需要建立数仓么？
之前我写了一篇关于数据中台和数仓的关系 的文章，里面理清了数仓和中台的关系。后面我了解到更通用的技术词汇去表达数据管理的两种方式： 数据联邦和数据仓储。 显然传统的数仓采用的...
-
数据中台和数仓的关系
传统数仓 传统数仓有几个特点： 数据具有历史性 基于文件存储 以表为形态，自带元数据存储（比如Hive） 在数仓的数据是其他数据的拷贝或者拷贝的加工 传统数仓需要拷贝数据的重...
-
kylo集群+nifi集群搭建
kylo集群搭建教程 kylo文档中 Clustering Kylo 介绍的比较模糊，但是大概步骤都讲到了。 kylo的集群，目的是做HA，所以两个节点共用同一个数据库,在这...
-
利用Kryo序列化库是你提升Spark性能要做的第一件事本文基于Spark2.1.0版本套用官文Tuning Spark中的一句话作为文章的标题： *Often, choose a serialization type will ...
-
Spark 多个Stage执行是串行执行的么？上次在做内部培训的时候，我讲了这么一句： 一个Job里的Stage都是串行的，前一个Stage完成后下一个Stage才会进行。 显然上面的话是不严谨的。 看如下的代码： 这里...
-
Spark Streaming 不同Batch任务可以并行计算么？
关于Spark Streaming中的任务有如下几个概念： Batch Job Stage Task 其实Stage,Task都是Spark Core里就有的概念，Job 在...
