此简书用来发布Spark+AI的深夜学堂，每夜一更新！夜空中最亮的星：Spark！
发简信
IP属地：甘肃
-
-
Hive LLAP && workload managementLLAP 起源 说workload management 就要先说LLAP。 LLAP 存在的必要性，为了解决什么问题才被设计出来的呢？ 这东西的由来其实是因为 每次一个查询...
-
Hive Metastore Thrift客户端上篇文章介绍了Metastore Thrift服务端，接下来浅析一下Metastore Thrift客户端。 1、IMetaStoreClient接口 IMetaStor...
-
Metastore格式和分隔符Hive目前支持的数据格式包括Text File、SequenceFile、RCFile、Avro、ORC 和Parquet，同时可以自定义INPUTFORMAT和OUTP...
-
Metastore服务端架构1、HiveMetastore HiveMetastore是Metastore的Thrift程序，Thrift文件为hive_metastore.thrift，Thrift...
-
Dispatcher类
Balancer.runOneIteration()--》Dispatcher.dispatchAndCheckContinue()Dispatcher.dispatchAn...
-
HDFS Balancer优化参数
dfs.datanode.max.transfer.threads指定用于在DataNode间传输block数据的最大线程数，默认值4096。 dfs.datanode.ba...
-
HDFS Balancer源码阅读
1. Dispatcher.init()方法 init方法首先会请求DataNode节点报告 2. Dispatcher.shouldIgnore()方法 Decommi...
-
Kyuubi服务源码解析：OpenSession解析
在Kyuubi服务源码解析：FrontendService一文解析HiveConnection的构造函数时，有一行代码是openSession()，现在来解析一下。 Cl...
-
Kerberos之Beeline客户端参数解析在Kerberos认证体系下，Beeline客户端连接HiveServer2的参数一般是这样的：beeline -u "jdbc:hive2:// :10000/defa...
-
Spark多租户场下的一些探讨与实现
-
Kyuubi服务源码解析：FrontendServiceFrontendService（Thrift服务Server端） FrontendService负责与客户端进行交互：维护与客户端的连接，并将SQL执行结果返回至客户端。...
-
Kyuubi服务源码解析：KyuubiServer
Kyuubi服务与HiveServer2服务非常相似，在Kyuubi中很多类的设计和代码逻辑都参照了HiveServer2（Spark SQL Thrift Server...
