1.从spark history UI定界 在作业主页确定有问题的子作业Job，然后进入该子作业详情查看stage，确定有问题的stage。超长stage的task如下图所示...
发简信
IP属地：广东
-
【Spark 精选】Native 计算引擎（C++）作业线程卡住问题 -
【C++精选】lldb 调试指南
1.查看coredump coredump的保存地址 查看coredump文件的内容 2.断点调试 2.1 编译选项添加调试信息 编译程序时需要添加调试信息，可以使用 -g ...
-
【C++ 精选】调试工具 - 查看内存对应的函数、文件名等信息
1.Addr2line 简介和安装 Addr2line 是一个用于将程序计数器（PC）地址转换为源代码文件名和行号的工具。它通常用于调试程序时查找特定地址对应的源代码位置。A...
-
【C++ 精选】调试工具 - 查看符号
1 nm 命令查看符号 2 c++filt 命令还原符号 **【参考】GCC详解-Binutils工具之c++filt[https://blog.csdn.net/sjwan...
-
【Linux】内核 3.10 离线升级到 5.4
1.检查当前内核版本 2.下载并安装目标版本 5.4 的内核文件 linux-5.4下载地址[https://elrepo.org/linux/kernel/el7/x86_...
-
【Linux】如何查看CPU、内存和磁盘及其性能测试
1.CPU 信息 lscpu 命令可以查看 CPU 的详细信息 cat /proc/cpuinfo 命令可以查看 CPU 的更多信息 2.内存信息 dmidecode 命令查...
-
【Spark 精选】EliminateOuterJoin 优化规则详解1.EliminateOuterJoin 优化规则的应用场景 问题：为啥需要消除外链接即 out join解答：消除 out join 可以提高执行效率。因为 inner j...
-
【Spark 精选】源码阅读 — Scala 高级语法
1.case 模式匹配 case 模式匹配的使用样例： spark-sql 源码中的 case 模式匹配：Analyzer 的 ResolveRelations 2.case...
-
【Hadoop 精选】HDFS Client 使用和源码解析1.HDFS 整体框架图 2.HDFS Client 读写的 Java 示例 3.HDFS Client 源码分析 3.1 Client 初始化 FileSystem 的关键...
-
【Hive 精选】Hive 架构详解2.Hive 架构 2.1 架构总览 UI 即 CLI/JDBC：用户可以通过该界面提交 SQL 语句 Driver：从 UI 接收 SQL 语句的组件，接着将 SQL 提交...
-
【安全】Kerberos 认证原理及 Hadoop 安全机制1.Kerberos 认证原理 Kerberos是一种基于票据的、集中式的网络认证协议，适用于C/S模型，最初由麻省理工学院(Massachusetts Institute ...
-
【安全】Hadoop 安全集群搭建及其对接
0.环境信息 软件名称版本OSopenEuler 22.03 (LTS-SP1)BiSheng JDKOpenJDK 64-Bit Server VM BiSheng (bu...
-
【TPC-DS】深入分析 hive-testbench
1.hive-testbench 简介 hive-testbench[https://github.com/hortonworks/hive-testbench/] 是一个用...
-
【Spark 精选】SQL 执行计划详解1.Spark SQL 执行流程 Parser 阶段：使用 Antlr4 对 sql 语句进行词法和语法的解析 Analyzer 阶段：利用 Catalog 信息将 Unre...
-
【SQL】JOIN 详解1 LEFT、INNER 和 RIGHT JOIN 原理 LEFT JOIN：以左表为主表，返回所有左表的数据 INNER JOIN：返回两张表的交集部分 RIGHT JOI...
-
【Hadoop】Hadoop 体系及核心组件简介1.Hadoop 体系 1.1 Google 大数据三大理论 1.1.1 Google FS GFS 是一个可扩展的分布式文件系统，把原文件分割成很多块的小文件，以冗余的方式...
-
【C++ 精选】C++ Primer（第五版）第二章练习题
练习 2.1 问题：类型 int、long、long long 和 short 的区别是什么？无符号类型和带符号类型的区别是什么？float 和 double的区别是什么？答...
-
【软硬件协同】DPU 简介1.什么是 DPU DPU 的英文全称叫做 Data Processing Unit 即数据处理器，属于高性能可编程的多核处理器。DPU 是 SoC（System on Ch...
-
【Linux】内核简介1.Linux 的体系结构 User Space 是用户空间即应用程序执行的地方。Kernel Space 是内核空间，分为 3 层：① 最上层实系统调用接口，即内核向用户提...