240 发简信
IP属地:陕西
  • GeoSpark-[阶段性总结]

    一、 Geospark安装: 我采用的是gradle安装,安装环境是Spark3.0.3+Scala.2.12.3 二、 Geospark 能够...

  • 2021-08-12:Scala 的另类用法

    将代码块当成参数传入 输出结果

  • SparkSQL字段血缘关系的实现方式

    说明: spark sql的字段血缘关系具体实现代码和使用方法见GitHub:RHobart/spark-lineage-parent: 跟踪S...

  • DeltaLake批处理:数据表的读取与写入

    DeltaLake支持大部分由Spark DataFrame提供的Opition选项 SparkSession的配置 创建表 DeltaLake...

  • presto 的安装与使用

    相关说明: Presto官网: Presto | Distributed SQL Query Engine for Big Data (pres...

  • Flink 读取Kafka数据

    一直以来都是使用spark structstreaming 读取kafka数据,最近一直在尝试用flink读取kafka数据。 开发环境配置: ...

  • Debezium 初次使用

    世间的一切都可以用时间来解决 前言: 因项目需要,需要调研debezium,也就是捕获数据更改(CDC)。翻阅了网上的一些资料和官网信息,将之总...

  • SPARK提交任务到Yarn集群的过程

    上面的命令执行顺序大致为: 文件描述: spark-submit.sh 提交任务,程序进入到SparkSubmit 文件代码中 执行main()...

  • spark 行专列,列转行

    目的:数据行专列,列转行 数据准备: 列转行: 行专列: 完整代码:

个人介绍
你觉得我是怎样的人