前言 Kyuubi 1.9.2 on Yarn模式官方支持Spark、Flink和Hive引擎。本片分别介绍它们的部署方式。 环境信息 Kyuubi 1.9.2 Spark ...
发简信
IP属地：北京
-
Kyuubi Spark Flink Hive 引擎使用
-
基于Kafka+Flink+Redis的电商大屏实时计算案例前言 一年一度的双11又要到了，阿里的双11销量大屏可以说是一道特殊的风景线。实时大屏（real-time dashboard）正在被越来越多的企业采用，用来及时呈现关键的数...
-
Flink SQL空闲状态保留时间（idle state retention time）实现原理前言 如果要列举Flink SQL新手有可能犯的错误，笔者认为其中之一就是忘记设置空闲状态保留时间导致状态爆炸。2021年的第一篇技术文，时间很紧张，聊聊这个简单的话题吧。 ...
-
Flink on Zeppelin问题四则（并没有优雅的解决方案前言 最近我们正式调研Zeppelin作为Flink SQL开发套件的可能性，于是clone了最新的Zeppelin v0.10-SNAPSHOT源码，自行编译并部署到了预发...
-
关于有状态Flink作业改变Kafka Consumer UID后位点跳变到EARLIEST这档事前言 这是很多Flink用户不太注意的一个隐藏得比较深的坑（严格来讲不算bug），近期组内同学频繁踩坑，故十分有必要快速记录一下，以提请注意。 复现问题 用户意图：将有状态F...
-
Flink SQL 如何实现列转行 ?
在 SQL 任务里面经常会遇到一列转多行的需求,下面就来总结一下在 Flink SQL 里面如何实现列转行的,先来看下面的一个具体案例. 需求 原始数据格式如下: named...
-
Flink 源码之异步state API
Flink源码分析系列文档目录 请点击：Flink 源码分析系列文档目录[https://www.jianshu.com/p/d4a372809e3d] 前言 Flink 2...
-
Flink RocksDB状态缩放加速：RocksDB原生DeleteRange原理简析又见Rescale 笔者在很久之前的一篇文章（传送门[https://www.jianshu.com/p/f0a13f98dac2]）中讲解过Flink的状态缩放（Resca...
-
Kyuubi命令行工具的使用
前言 Kyuubi提供了两个命令行工具：kyuubi-admin和kyuubi-ctl。这两个工具的功能和用法非常相似，能够获取到Kyuubi server和engine的状...
-
Flink 使用之Yarn模式故障退出TaskManager日志的查看方法
Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 前言 如果Flink作业在...
-
Hudi 使用之Metadata Index
本篇带来Hudi metadata index的介绍、配置和使用。本篇将Hudi官网内容有关部分重新整理在一起，阅读和查找起来更为容易。 Metadata Index依赖me...
-
聊聊存算分离StarRocks的垃圾清理机制前言 大家已经了解，StarRocks的更新模型、主键模型等在Flush和Compaction过程中会产生历史版本数据，这些垃圾数据需要及时被清理，以防止存储空间浪费。而St...
-
大数据集群Linux系统参数预调优指南前言 当我们自建大数据集群（如OLAP集群、实时计算集群、分布式存储集群、全文搜索集群等）的时候，除了硬件资源要合理配备外，在操作系统层面也要进行一些事前配置，让大数据组件能...
-
Hudi 使用之Flink读写
前言 本篇从Hudi角度介绍Flink常用的几种读写操作。内容主要来源于官网例子和个人理解。 读者如果想了解从编译、部署到使用的步骤，请参考：Flink 使用之 Hudi 编...
-
2024一个短期的生活片段
自对大环境下的职场环境没有信心后,我就开始琢磨着其他的方向了,计算机&互联网这行,看去了投入所带来的收益很低了,虽说数仓&数据行业门槛低得很,但是不至于一个城市几乎没什么岗位...
-
Java 类加载机制
何为类加载 类加载指的是JVM将class二进制文件读取到内存方法区，在堆内存中生成Class对象。 类加载过程 类加载的过程包含如下步骤： 加载 验证 准备 解析 初始化 ...
-
Hudi 报错和问题排查
本文档记录了Spark/Flink配置Hudi使用时遇到的几个比较棘手的问题。不定期更新。 spark-sql或者spark-shell启动出现NoClassDefFound...
-
ClassNotFoundException和NoClassDefFoundError
ClassNotFoundException ClassNotFoundException是一个checked exception，意味着我们在代码中必须使用try catc...
-
Flink 使用之连接 Kafka
Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 前言 本文介绍Flink ...