渺茫的小怪兽

话题发现和跟踪是指新闻专线和广播新闻等来源的新闻数据流中自动地发现话题并把话题相关的内容组织到一起的技术。通过增量的文档聚类的方法，信息流被聚集到有限的话题类簇中，类内高度相...

wuli_小博

本文旨在介绍 Spark 通过JDBC读取数据库数据的四种API 调用前准备 对于不同的数据库，需要在spark的环境中添加对应的driver包，如： Oracle： MyS...

breeze_lsw

将多份数据进行关联是数据处理过程中非常普遍的用法，不过在分布式计算系统中，这个问题往往会变的非常麻烦，因为框架提供的 join 操作一般会将所有数据根据 key 发送到所有的...

起个什么呢称呢

为什么要设计RDD 网上资料很多，这里我给罗列出来，许多的迭代算法和交互式数据挖掘工具，这些应用场景的共同点是：在不同的运行阶段或者说是计算阶段，都会重用中间结果，即一个阶...

breeze_lsw

一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存，当集群中运行的任务特别多时，就会挂掉，原因是master会读取每个task的e...

ChainZhang

本文为转载，原文：Docker Swarm集群部署实践 1. 介绍 Swarm 在 Docker 1.12 版本之前属于一个独立的项目，在 Docker 1.12 版本发布之...