Spark Streaming介绍 Spark Streaming是在Spark Core的基础上进行扩展，可实现对实时数据的扩展、高吞吐量、容...
投稿
收录了24篇文章 · 1人关注
-
SparkStreaming相关
-
SparkStreaming从kafka读取数据编码问题（Java）
SparkStreaming从kafka读取文件流时（Java），默认是utf-8的，如果源文件的编码不是utf-8，那就会出现乱码现象，但是k...
-
SparkStream mapWithState编程练习
SparkStream在处理流数据时，按时间间隔把数据分成小批，在一个小批中利用RDD的函数完成各种运算。如果要在各小批之间共享数据，或者保存到...
-
Kafka+redis+sparkstream整合现有数据类型如下（部分） A 202.106.196.115 手机 iPhone8 8000 B 202.106.0.20 服装 布莱奥尼西服 ...
-
SparkStream消费kafka消息delay，但job处理很快在场景系统中，通过SparkStream直接消费kafka数据，出现处理逻辑耗时在毫秒级，但是很多的job delay。 示例代码如下： val...
-
python操作Redis
python操作Redis 一. Redis是什么 Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消...
-
一文搞定Redis面试，附Redis面试大纲+常见Redis面试题一、基础篇 快速上手①. 什么是redis②. 为什么使用redis③. 安装④. 基本使用（常见数据结构的命令） Java操作redis①. ...
-
大数据hive07-Hive性能优化整理总结大全
一、介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ （1）数据量大不是问题，数据倾斜是个问题。（2）jobs数比较...
-
hive进阶宝典二——hive 常用小技巧
1.日期格式转换（将yyyymmdd转换为yyyy-mm-dd） 2.hive修改库名、表名注释、表属性 3..hive去掉字段中除字母和数字外...
-
25Hive优化（Hive7）（这节很重要）本节所讲优化策略适用于任何场景 1.核心思想 把Hive SQL 当做Mapreduce程序去优化以下SQL不会转为Mapreduce来执行 s...
专题公告
Spark
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1870743/crop1586062149817.jpg', '推荐专题《Spark专题》（ 分享自 @简书 ）','https://jianshuapi.com/c/a17d2c61244a?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}