遇到一个很奇怪的异常，通过 JDBC batch insert 时，会报 Unknown command(27) 的异常。 而且这个问题很容易复现，复现例子： 建表语句 写入...
发简信
IP属地：辽宁
-
奇妙的 JDBC batch insert 到 Doris 异常的问题 -
Kafka GetOffsetShellparseOffsetSpec 根据 time 配置解析出获取 offset 的方式，earliest、lastest或者指定的时间戳 然后通过 KafkaAdminClie...
-
人家说的哪儿不对你倒是说啊，上来就这个不对那个不对的，你也不说个对的
深入理解 Scala 中的闭包（Closures）
摘要 本文通过 Scala 语言来实现一个简单的闭包，并且通过 Opcode 来深入理解 Scala 中闭包的实现原理。 一个简单的例子 闭包，简单的理解就是：函数内部的变量...
-
本博客所有内容均适用知识共享-署名-相同方式共享（CC-BY-SA）4.0协议。
-
-
volatile关键字volatile是Java虚拟机提供的轻量级的同步机制 具有三大特性： 保证可见性 不保证原子性 禁止指令重排 要想讲清楚这三大特性，首先要了解JMM JMM JMM(Jav...
-
ClassNotFoundException和NoClassDefFoundError
ClassNotFoundException ClassNotFoundException一个异常，该异常为已检查异常（Checked Exception），可以在编译期检查...
-
Spark-task执行过程中的序列化
先看一个例子： 运行后结果： Exception in thread "main" org.apache.spark.SparkException: Task not ser...
-
Spark-通信架构
Spark 2.x版本使用Netty通讯框架作为内部通讯组间。Spark基于Netty新的RPC框架借鉴了Akka中的设计，基于Actor模型。 Spark通讯框架中各个组件...
-
Spark-DStream数据转换
DStream的原语与RDD类似，分文转换（Transformation）和输出（Output）两种，此外还有一些特殊的原语，如：updateStateByKey，trans...
-
Spark-从Kafka读取数据
在工程中引用spark-streaming-kafka-0-10_2.11来使用它。通过包中提供的KafkaUtils可以在StreamingContext和JavaStre...
-
Spark-用户定义函数
用户可以调用SparkSession的udf功能自定义函数 用户定义函数 加载json数据val df = spark.read.json("files\\test.json...
-
Spark-DataFrame的基本操作
在SparkSQL中SparkSession是创建DataFrame和执行SQL的入口，创建DataFrame有三种方式：通过Spark的数据源进行创建，从一个存在的RDD进...
-
Spark-DataSet的基本操作
DataSet是具有强类型的数据集合，需要提供对应的类型信息。 创建 创建一个样例类case class Person(name: String, age: Long) 创建...
-
Spark-SparkSQL介绍SparkSQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎使用。 不同于Hive将Hiv...
-
Spark-自定义Receiver
可以继承Receiver类来实现自定义采集器，需要实现方法如下： onStart：接收器启动方法 onStop：接收器停止方法 同时还要指定Receiver的缓存等级 代码实...
