建maven工程，把hive的jar引入到依赖里，然后写对外的方法接受sql，把sql发给Driver类，拿到语法树的根节点ASTNode，然后写代码遍历ASTNode，根据不同的特征解析不同的属性出来。
使用Hive内置的解析器构建血缘关系背景 最近在做数据血缘关系相关的工作，最初级的版本我们是通过执行计划分析出表到表的计算关系。有同事在看了之后提出，希望能给一个字段到字段的计算关系出来，所以我们做了一些尝试，...
IP属地：湖北
-
-
30张图带你彻底理解红黑树写在前面 当在10亿数据进行不到30次比较就能查找到目标时，不禁感叹编程之魅力！人类之伟大呀！ —— 学红黑树有感。 终于，在学习了几天的红黑树相关的知识后，我想把我所学所想...
-
-
-
-
-
使用Hive内置的解析器构建血缘关系背景 最近在做数据血缘关系相关的工作，最初级的版本我们是通过执行计划分析出表到表的计算关系。有同事在看了之后提出，希望能给一个字段到字段的计算关系出来，所以我们做了一些尝试，...
-
HiveServer2无响应分析场景描述 我们在工作中有时候需要使用JDBC操作Hive，但最近经常出现每隔一段时间JDBC就超时没反应的情况。（这个问题和MetaStore内存溢出时的表现一模一样，关于M...
-
-
对ddl语句，如何做到仓库与业务库的同步呢？
MySQL数据实时同步实践
来自公众号：小米云技术 背景 MySQL由于自身简单、高效、可靠的特点，成为小米内部使用最广泛的数据库，但是当数据量达到千万/亿级别的时候，MySQL的相关操作会变的非常迟缓...
-
理解Spark中Job-Stage-Task之间的关系Spark-Job-Stage-Task之间的关系 基本概念 在开始之前需要先了解Spark中Application，Job，Stage等基本概念，官方给出的解释如下表： J...
-
Spark--Spark Shuffle细节掌握(面试类)问题
Spark Shuffle Read阶段是如何读取数据的 Reduce去拉取Map的输出数据，Spark提供了两套不同的拉取数据框架：通过socket连接去取数据；使用net...
-
工作文件不该全部归档吗？怎么会只有员工的电脑上有？我司离职电脑会由专门的安全人员做清空……
活久见！！！ 一员工离职卸载掉电脑的全部软件，就连桌面文件也一扫而空
之前在网上看到一句话这样来形容靠谱的人:“凡事有交代，件件有着落，句句有回应”。 个人十分认同，这个解释尤其用在职场，判定一个员工有没有责任心最合适不过。 工作了四年的我，经...
-
我们分析团队关注每条数据的每次变化，现在封装了canal来收binlog后端用kafka将离线数据与实时计算解耦，这个场景用datax要如何实现呢？
DataX 3.0简介 安装及使用
DataX3.0离线同步工具介绍 一. DataX3.0概览 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、...
-
本博客所有内容均适用知识共享-署名-相同方式共享（CC-BY-SA）4.0协议。
-
Kafka+Spark Streaming如何保证exactly once语义在Kafka、Storm、Flink、Spark Streaming等分布式流处理系统中（没错，Kafka本质上是流处理系统，不是单纯的“消息队列”），存在三种消息传递语义（...
