发简信
IP属地：河北
-
Spark学习（十）：DataFrame
DataFrame能够方便处理大规模结构化数据。在Scala API中，DataFrame只是Dataset [Row]的类型别名。(参考原文)...
-
Spark学习（九）：分布式矩阵
十余天没有学习Spark了，不是我在偷懒，而是前段时间一直在研究形态学算法提取波形的问题。现在算法差不多搞定啦，但是用Python开发的，有空有...
-
Spark学习（八）：scala矩阵的基本操作
Breeze是scala用的数值处理库，spark的底层的向量和矩阵是基于Breeze的。本文对矩阵的基本操作做简单介绍，代码主要参考博文，根据...
-
Spark学习（七）：数据绘图工具Breeze-Viz因为要进行数据分析，开发原型的过程中最好能绘图，上网查了一下，Spark或scala中比较常用的绘图工具是Breeze-Viz，于是参考博文上手...
-
Spark学习（六）：map & mapPartitions
对于一些没有用过的函数或者操作，看文字描述总是觉得很晦涩，很难理解，所以学习的时候我比较倾向于先从小例程入手，以便有直观的理解。关于这两个函数网...
-
Spark学习（五）：协同过滤
因为一直在搞算法开发，所以还是对算法比较感兴趣，学习Spark的过程，也顺带练习一下自己没用过的小算法。没有Java经验，没有Hadoop经验，...
-
Spark学习（四）：Array和ArrayBuffer
主要内容摘自博文，点击阅读原文 Array定义定长数组，ArrayBuffer定义变长数组 上代码，一看就懂：
-
Spark学习（二）：SparkConf和SparkContext
通过创建SparkConf对象来配置应用，然后基于这个SparkConf创建一个SparkContext对象。驱动器程序通过SparkConte...
-
Spark学习（一）：第一个Spark程序
之前一直在做算法开发，程序都是面向过程的（python，matlab），为了让自己离程序媛的梦想更进一步，开始学习Spark，打算在简书上记录自...