Avatar notebook default
Spark
13篇文章 · 20005字 · 1人关注
  • Resize,w 360,h 240
    Spark Hive

    版本： 2.3.0 准备 保证spark的的各个节点上都有hive的包。 将hive的配置文件， hive-site.xml 拷贝到spark的...

    1334 0 0
  • Spark REST API & metrics

    版本： 2.3.0 除了可以通过ui访问各项参数， spark也提供json格式的方法。这使得开发者可以方便的开发监控工具和新的可视化界面。JS...

    0.1 3173 0 1
  • spark job history

    版本：2.3.0 一般情况下可以访问http://<driver-node>:4040 ， 若多个 SparkContexts正在运行，则可以...

    1142 0 0
  • Resize,w 360,h 240
    RDD

    版本： 2.3.0 原文链接： http://spark.apache.org/docs/latest/rdd-programming-gui...

    1156 0 0
  • livy 安装配置

    spark：2.3.0livy ： 0.5.0 下载 bin包 （下载的livy包的lib中hadoop的版本是2.7.3 ， 可能会有问题！）...

    3044 0 4
  • Resize,w 360,h 240
    spark on Yarn 动态资源分配

    配置文件： yarn-site.xml yarn-env.sh 使用spark-shell --master yarn 后，通过webui ，看...

    813 0 1
  • Resize,w 360,h 240
    spark standalone 动态资源分配

    版本： 2.3.0 standalone 模式下， 在conf/spark-default.conf文件中 配置 ： 参数 spark.dyna...

    0.1 1229 0 2
  • spark job scheduling

    版本：2.3.0 Overview Spark有几个工具用于在计算之间调度资源。首先回想一下，如集群模式概述中所述，每个Spark应用程序（Sp...

    367 0 1
  • Spark on Yarn 实践

    配置 spark-env.sh salves 配置 spark-default.conf yarn-site.xml yarn-env.sh 总...

    324 0 0

文集作者