一、DDL操作 1.1 create操作 primary key主键(可选) clickhouse中的主键，和其他数据库不太一样，它只提供了数据的一级索引，但是却不是唯一约束...
IP属地：北京
-
ClickHouse——SQL操作 -
clickhouse使用一些优化和经验
一些经验 1，查询强烈要求带上分区键过滤和主键过滤，如 where day = today() and itime = now()。 2，建表的时候，选择合适的分区键和...
-
Flink1.14.4 集群安装前言 因公司需要验证FlinkCDC的能力，而且要求按照最终的生产模式去部署，因此对安装过程做个记录，小白请多指教~ 一、集群规划 二、部署Flink集群 1.版本选择 2....
-
hive 外部表映射 es
背景：公司有需求将hive数据导入es，之前是通过datax进行导数的；但是datax多线程很耗内存，并且经常性会出现一些程序上的问题。故想要使用hive外部表映射es的方式...
-
flink实战-使用广播实现报警阈值动态更新
使用CEP进行网站监控报警和报警恢复 flink CEP 简介 flink CEP（Complex event processing），是在Flink之上实现的复杂事件处理库...
-
Spark SQL：map操作连环报错记录（too many elements for tuple，ClassNotFoundException: scala.Any，<refinement>
摘要：Spark SQL，Scala 由于Scala限制Tuple最大元素为22个导致的血案 问题复现 实际的业务场景是使用Spark SQL加工数仓的表，由于逻辑比较复杂如...
-
Spark架构模式与Flink的对比Spark架构模式与Flink的对比 Spark和Flink都属于流批一体的分布式计算引擎。Flink属于流处理框架，通过流来模拟批，Spark属于批处理框架，通过批来模拟流...
-
writeFileSync、existsSync、writeFileSync用法
readdirSync 该方法将返回一个包含“指定目录下所有文件名称”的数组对象。 用法： 示例： existsSync 以同步的方法检测目录是否存在，如果目录存在 返回 t...
-
Flink 批处理算子详解
批处理程序的结果 获取运行时 添加Source 定义算子转换函数 定义Sink 启动程序 source 定义 // 递归定义整个目录下的所有文件 算子 Aggregate 连...
-
Flink面试八股文-1(持续更新)
1. 简单介绍一下Flink Flink是一个面向流处理和批处理的分布式数据计算引擎，能够基于同一个Flink运行，可以提供流处理和批处理两种类型的功能。 在 Flink 的...
-
flinksql - operator - udf
概念 自定义标量函数，接收一个或多个列，输出一个列，行与行是一一对应的 构造函数在jobmanager上创建udf时就执行 open方法在所有并行子任务上都执行一次，且在调用...
-
请问不用输入密码吗
Python链接Hive读取数据的几种方式
R和Python是数据分析人员常用的两个工具, 笔主在R通过RJDBC链接Hive 介绍了R如何链接Hive, 今天换Python. 以下有几种链接方式, 标题均包含了官方链...
