7篇文章 · 3529字 · 1人关注
Spark提供的所有计算,不管是批处理,Spark SQL,Spark Streaming还是Spark ML,它们底层都是通过RDD计算。所以...
micro-batches Processing & Continuous Processing Structured Streaming 在A...
开发工具 scala 2.11.8 jdk8 intellij idea 2017(scala plugin) maven(3.3.9) 导入...
大数据存储引擎之哈希 数据结构就是键值对 优点:检索快 缺点:不支持范围扫描 如果数据都在内存中,那就很快的,比如常用redis 作为缓存组件(...
Hadoop yarn集群搭建 1. 修改host 主节点:192.168.3.187 L-AP-3-187从节点:192.168.3.18...
最近开始做大数据,数据库mongodb,计算用的spark,加载数据用的mongo-spark connector官方连接器,mongo 在加载...
mongodb double精度问题所学到的知识 背景介绍: 由于目前本人在做一个涉及计费的一个项目,中间有统计计费,比如一个公司合同下 每个账...
文集作者