一、如何选取到 broadcast join Join 具有 hint 的情况会调用 createBroadcastHashJoin(onlyLookingAtHint = ...
IP属地：河南
-
Spark Join 源码剖析② - BroadcastHashJoinExec & ShuffledHashJoinExec -
Calcite CBO ② - VolcanoPlanner 之 IterativeRuleDriver一、IterativeRuleQueue 该算法不断的从 RuleQueue 中取出 Rule 并执行，该过程有两个退出条件： RuleQueue 空了：没有 Rule 需要...
-
Calcite CBO ① - 核心流程一、问题 & 目标 数据库/大数据引擎主要由三部分组成，分别是解析器、优化器和执行引擎，如下图所示： 其中，优化器在很大程度上决定了性能，其作用好比找到两点之间的最短路径。优...
-
Flink 作业生成①：生成 StreamGraph一、作业生成及提交整体流程 上图为一个 Flink 作业的提交流程，主要可以分为以下几个步骤： Client 将作业 code 生成 StreamGraph（在 Batch ...
-
Calcite - 看懂 Parser.jj 中的 SqlSelectjavacc 会根据 parser.jj 中定义的相互穿插的 Token、Java 代码来自动生成 org.apache.calcite.sql.parser.impl.Sq...
-
费曼技巧-四步学习法
第一步：选择一个你想要理解的概念，然后拿出一张白纸，把这个概念写在白纸的最上边 第二步：假象你正要向别人传授这个概念，然后在白纸上写下你对这个概念的解释，就像你在教一位新接触...
-
Spark Aggregations execution
一、Distinct aggregation 算法 包含 distinct 关键字的 aggregation 由 4 个物理执行步骤组成。我们使用以下 query 来介绍： ...
-
Spring AOP之使用注解创建切面
上节中我们已经定义了Performance接口，他是切面中的切点的一个目标对象。那么现在就让我们使用AspectJ注解来定义切面吧。 1.定义切面 下面我们就来定义一场舞台剧...
-
Spark 核心 RDD 剖析（上）
本文将通过描述 Spark RDD 的五大核心要素来描述 RDD，若希望更全面了解 RDD 的知识，请移步 RDD 论文：RDD：基于内存的集群计算容错抽象 Spark 的五...
