最近升级了Intellij IDEA的最新版 2018.1版本。发现git插件的push的逻辑有了变更,适应了好大一会。 旧的版本上,根据远程分...
考虑了很久,终于换了一个部门,换了一份工作,换工作之前已经浑浑噩噩半年多时间,最大的感慨就是,换了部门之后,感觉整个人都活过来了,又找到了年轻人...
前言:项目中用到的缓存数据库是同事自己写的,虽然可用,但是很多特性都感觉差了一点意思,仅仅是可用。于是乎萌生一个想法,能不能用redis来替代我...
大概是假期综合征的原因,翻来覆去睡不着,索性起来写点东西。 在微博、知乎、简书上关注了一些大牛,发现他们有一个共同的特点: 懂得分享 。 新的时...
创建数据库连接: 第一次创建数据库连接,要下载相应的驱动: 驱动下载好以后,填写好数据库的信息: 创建好连接就可以使用了:
Spark分为两种API:Transformations和Actions。 Transformations的常用操作有:map,filter,f...
看了好几天spark源码,今天突然想试一试如何把spark编译出来。记录一下编译过程。第一步,下载源码:下载源码,考虑到墙的存在,没有直接使用s...
闲来无事,研究一下Spark Rdd的处理过程。以一个简单的例子看看: 首先看第一行代码。val textRDD = sc.textFile("...
实现: 首先基于topic,创建出kafka的DStream流 val sparkConf = new SparkConf().setAppNa...