Avatar notebook default
7篇文章 · 3529字 · 1人关注
  • spark-mongodb简单上手

    Spark提供的所有计算,不管是批处理,Spark SQL,Spark Streaming还是Spark ML,它们底层都是通过RDD计算。所以...

  • Resize,w 360,h 240
    Spark Structured Streaming2.3两种计算模式

    micro-batches Processing & Continuous Processing Structured Streaming 在A...

  • Resize,w 360,h 240
    spark 源码阅读及调试环境搭建

    开发工具 scala 2.11.8 jdk8 intellij idea 2017(scala plugin) maven(3.3.9) 导入...

  • Resize,w 360,h 240
    大数据存储引擎笔记

    大数据存储引擎之哈希 数据结构就是键值对 优点:检索快 缺点:不支持范围扫描 如果数据都在内存中,那就很快的,比如常用redis 作为缓存组件(...

  • Resize,w 360,h 240
    spark on yarn集群搭建

    Hadoop yarn集群搭建 1. 修改host 主节点:192.168.3.187 L-AP-3-187从节点:192.168.3.18...

  • Resize,w 360,h 240
    mongo spark加载数据不全的bug fix

    最近开始做大数据,数据库mongodb,计算用的spark,加载数据用的mongo-spark connector官方连接器,mongo 在加载...

  • Resize,w 360,h 240
    mongodb double 精度解决方案

    mongodb double精度问题所学到的知识 背景介绍: 由于目前本人在做一个涉及计费的一个项目,中间有统计计费,比如一个公司合同下 每个账...

文集作者