JMeter简介 JMeter基本概念 Apache JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试，它最初被设计用于Web应用测试，但...
IP属地：吉林
-
JMeter（一） 入门 -
[源码分析]spark shuffle的读操作
上一篇解读了shuffle写操作的流程，相比较shuffle读操作而言是比较简单的；shuffle读取过程比较耗内存，由于在最后会把所有的数据拉入到缓存中进行聚合； shul...
-
Spark on Yarn之Executor内存管理本文1、2、3节介绍了Spark 内存相关之识，第4节描述了常见错误类型及产生原因并给出了解决方案。 1 堆内和堆外内存规划 Executor 的内存管理建立在 JVM 的内...
-
记一次Spark Yarn Shuffle Service升级引发的血案前言 Spark YarnShuffleService是作为Hadoop Yarn模块中NodeManager的辅助服务寄生在其进程内部，大家都知道可以通过这个外部服务来削减...
-
【开源Spark实战训练营】基于spark快速构建数仓项目作者：蚂蚁金服数据中台技术专家－王飞（必武）整理:平凡的世界-zkx,转载请注明出处。 第一节会介绍一下数据仓库的基本理论第二节给大家介绍一下基于spark多数据源的集成，第...
-
External Shuffle Service 引起的NodeManager OOM问题分析1 现象描述及初步分析 近期公司yarn集群中存在NodeManager因OOM 而挂掉的情况, 且发生OOM前存在大量的Spark Shuffle Services相关信...
-
大数据Structured Streaming教程1:概念及使用近年来，大数据的计算引擎越来越受到关注，spark作为最受欢迎的大数据计算框架，也在不断的学习和完善中。在Spark2.x中，新开放了一个基于DataFrame的无下限的流式...
-
blink udtf的实战
实时计算支持三种自定义函数（UDX），分别是： 本文档通过使用UDTF解析字节数组成多个字段如存储的是{"name":"Alice", "age":13, "grade":...
