在日常开发中一定会遇到,spark将计算好的数据load到es中,供后端同学查询使用。下面介绍一下spark写es的方式。 使用scala进行演示,对应的java自己goog...
在日常开发中一定会遇到,spark将计算好的数据load到es中,供后端同学查询使用。下面介绍一下spark写es的方式。 使用scala进行演示,对应的java自己goog...
由于换工作,spark最近写的比较少,很多东西都忘了,所以周末就在家复习一下。 下面是我在微信读书上的学习记录总结。这边书讲的比较简单,作为复习,看看是不错的,不建议作为入门...
最近由于换工作,开始交接工作。整理以前的工作内容,由于组内就我一个在做go和大数据。 所以开发没有规划,当时是怎么快怎么来。go也是使用最传统的go path的方式管理的。都...
今天将旧的go项目全部迁移使用go mod管理。在go get的时候,出现下面的错误。 如果上面的问题出现在 可以使用下面的方式解决: 10.14 解决方法 在终端直接打开 ...
scala数据类型体系图如下 从上图可以得到以下结论: 在 scala 中有一个根类型 Any ,他是所有类的父类. scala中一切皆为对象,分为两大类AnyVal(值类型...
在scala中,一切都是对象。其中变量是程序的基本组成单位 变量声明 scala中变量的声明是使用 var和val。var 修饰的对象引用可以改变,val 修饰的则不可改变,...
由于近一年一直在写大数据, go代码写的比较少,所以就在假期复习一下go相关知识。 在极客时间上学习了, 下面做了一个思维导图,以供后续复习使用。
由于做大数据开发,使用最多的语言就是scala和python,java。 刚开始由于spark是scala开发的,就去学习了scala,然后看spark的源码。 后面就是基于...
学习和使用一段时间的spark, 对spark的总结一下,希望对大家有用,不介绍怎么使用, 只从设计上谈谈。 spark解决了什么问题? 说spark前一定要说一下, 就不得...