前言 Kyuubi提供了两个命令行工具：kyuubi-admin和kyuubi-ctl。这两个工具的功能和用法非常相似，能够获取到Kyuubi server和engine的状...
发简信
IP属地：河南
-
Kyuubi命令行工具的使用
-
Flink 使用之Yarn模式故障退出TaskManager日志的查看方法
Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 前言 如果Flink作业在...
-
Hudi 使用之Metadata Index
本篇带来Hudi metadata index的介绍、配置和使用。本篇将Hudi官网内容有关部分重新整理在一起，阅读和查找起来更为容易。 Metadata Index依赖me...
-
聊聊存算分离StarRocks的垃圾清理机制前言 大家已经了解，StarRocks的更新模型、主键模型等在Flush和Compaction过程中会产生历史版本数据，这些垃圾数据需要及时被清理，以防止存储空间浪费。而St...
-
大数据集群Linux系统参数预调优指南前言 当我们自建大数据集群（如OLAP集群、实时计算集群、分布式存储集群、全文搜索集群等）的时候，除了硬件资源要合理配备外，在操作系统层面也要进行一些事前配置，让大数据组件能...
-
Hudi 使用之Flink读写
前言 本篇从Hudi角度介绍Flink常用的几种读写操作。内容主要来源于官网例子和个人理解。 读者如果想了解从编译、部署到使用的步骤，请参考：Flink 使用之 Hudi 编...
-
2024一个短期的生活片段
自对大环境下的职场环境没有信心后,我就开始琢磨着其他的方向了,计算机&互联网这行,看去了投入所带来的收益很低了,虽说数仓&数据行业门槛低得很,但是不至于一个城市几乎没什么岗位...
-
Java 类加载机制
何为类加载 类加载指的是JVM将class二进制文件读取到内存方法区，在堆内存中生成Class对象。 类加载过程 类加载的过程包含如下步骤： 加载 验证 准备 解析 初始化 ...
-
Hudi 报错和问题排查
本文档记录了Spark/Flink配置Hudi使用时遇到的几个比较棘手的问题。不定期更新。 spark-sql或者spark-shell启动出现NoClassDefFound...
-
ClassNotFoundException和NoClassDefFoundError
ClassNotFoundException ClassNotFoundException是一个checked exception，意味着我们在代码中必须使用try catc...
-
Flink 使用之连接 Kafka
Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 前言 本文介绍Flink ...
-
Flink 获取配置的途径
前言 Flink配合Hadoop使用的时候获取配置文件的方式非常之多，官网没有统一的总结。本篇将这些获取配置的方法梳理总结是为了： 掌握多种指定Flink Hadoop配置的...
-
「Excαlibur」因为跨年有霓虹出游计划，所以稍微打破一下传统，选在平安夜发布2023年度最佳单曲。 今年的Top 1是来自著名Indie乐团Mili的「Excαlibur」，同时是近十年来所...
-
Flink 使用之动态Kerberos认证
Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 背景 Flink Kerb...
-
简析StarRocks JNI Connector及其在数据湖Reader中的应用前言 最近在进行StarRocks与数据湖集成方面的一些工作（重点是SR 3.2与Paimon 0.6的适配），同时阅读和修改了部分代码，发现StarRocks JNI Co...
-
解决：flink 日志不打印 flink打印中文日志出现乱码
flink版本 1.14安装使用CDH 6.3 解决问题1：flink 日志不打印 flink启动日志 flink web ui日志 均不打印解决问题2：flink打印中文日...
-
Hudi 使用之 HBase Index
前言 Hudi索引可以加快upsert过程中查询数据物理位置（存储于哪个file group）。Hudi支持多种Index。本篇为大家介绍使用HBase作为Index存储媒介...
