1.基础概念(1)菜鸟教程https://www.runoob.com/sql/sql-tutorial.html[https://www.runoob.com/sql/sq...
1.基础概念(1)菜鸟教程https://www.runoob.com/sql/sql-tutorial.html[https://www.runoob.com/sql/sq...
1. 路由器断电监控->{"ip":"111.193.207.84", "state":0, "alarm_count":2} 其中, ip:本机IP; state:监控状态...
前言 之前的文章中已经屡次提到过Flink的事件时间(event time)、水印(watermark)、乱序(out-of-order)、迟到数据(late element...
1.什么是job Job简单讲就是提交给spark的任务。 2.什么是stage Stage是每一个job处理过程要分为的几个阶段。 3.什么是task Task是每一个jo...
文章源来自婚礼纪~ https://www.hunliji.com/bai_ke/detail_10395 https://www.hunliji.com/bai_ke/de...
awkimage.png 软连接创建/1ln -s /1 /2则/2成为/1的软连接
1. Flume架构 https://blog.csdn.net/a2011480169/article/details/51544664 2. flume核心是把数据从数据...
https://blog.csdn.net/swing2008/article/details/60869183 1. 架构 cluster manager:控制整个集群...
1. dataframe.mode(“overwrite”)的使用 2. 3. scala case when 4. 什么情况下,spark可以通过.textFile()读取...
1. HDFS:hadoop分布式文件管理系统,以流式数据访问模式来存储超大文件 2. HDFS数据块:HDFS上的文件被划分为块大小的多个分块,作为独立的存储单元,称为数据...
本文及其他文章仅为学习笔记,本文转自http://www.kafka.cc/category/interview2/ 1. kafka主要特征 kafka具有近乎实时性的...
1. implicit https://blog.csdn.net/trigl/article/details/79283526 2. BASE64加密、解密 3.
完整工程用例 最近一直在用directstream方式消费kafka中的数据,特此总结,整个代码工程分为三个部分一. 完整工程代码如下(某些地方特意做了说明, 这个代码的部...
1. 问题 #KafkaUtils所属的jar包spark-streaming-kafka-0-10_2.12怎样打包到应用程序jar中? # 2.
https://blog.csdn.net/u012102306/article/details/51322209#commentBox https://blog.csdn....
1. Kafka消费方式:通过Flume,将kafka消息存储到HDFS 通过Spark Streaming读取kafka消息,存储到redis 2. 高级API和低级AP...
1. flume+kafka+sparkstreaming https://blog.csdn.net/trigl/article/details/70237981 2. f...