Hive当中对小文件的处理 数仓面试高频考点：【在Hive中如何解析小文件过多问题，指定的是：处理表中数据时，有很多小文件】 查看表中【文件个数、数据量和数据大小】如何查看？...
发简信
IP属地：浙江
-
Hive和Spark当中对小文件的处理
-
如何设计实时数据平台（技术篇）
本文仅为笔者平日学习记录之用，侵删原文：https://mp.weixin.qq.com/s/iyDxv_sLcNEJ1KBG7gGH3w 导读：实时数据平台（RTDP，Re...
-
5W字总结Spark（一）(建议收藏)
本文目录： 一、Spark 基础二、Spark Core三、Spark SQL四、Spark Streaming五、Structured Streaming六、Spark 两...
-
Zoom 在数据湖上的流批一体架构实践！1. 背景 OnZoom是Zoom新产品，是基于Zoom Meeting的一个独一无二的在线活动平台和市场。作为Zoom统一通信平台的延伸，OnZoom是一个综合性解决方案，...
-
使Flink SQL Kafka Source支持独立设置并行度前言 社区在Flink 1.12版本通过FLIP-146[https://cwiki.apache.org/confluence/display/FLINK/FLIP-146...
-
基于Calcite解析Flink SQL列级数据血缘数据血缘 数据血缘（data lineage）是数据治理（data governance）的重要组成部分，也是元数据管理、数据质量管理的有力工具。通俗地讲，数据血缘就是数据在...
-
Flink带超时时间的计次的窗口触发器CountWithTimeoutTrigger
当我们要在一个CountWinow里统计数据时，如果数据迟迟达不到最大次数而窗口没有关闭，会造成内存泄漏所以我们需要一个带超时时间的计次的窗口触发器。 代码非原创，参考了网上...
-
jupyter notebook的通信提示用户输入一段代码，当用户输入以后执行。这种模式经常被称为REPL(交互式开发环境)，或者Read-Eval-Print-Loop(读取﹣求值﹣输出循环).jupyter ...
