21篇文章 · 7507字 · 3人关注
-
黑猴子的家：IDEA 配置 之 总结
1、Maven父子项目的使用 在简述maven 中会有详细描述 2、spark程序的编写 1）新建一个maven项目，并将该项目配置成scala...
-
黑猴子的家：Spark 部署 之 总结
1、Standalone部署模式 1）节点（1）Master：主节点（2）Worker：任务节点 2）步骤（1）下载Spark的安装包，注意选择...
-
黑猴子的家：删除 Maven 下载失败的jar包1、删除 *.lastUpdated 2、Reimport
-
黑猴子的家：创建 Maven 父子项目1、IDEA创建一个maven项目 2、删除src 3、修改pom.xml 4、创建 new module 5、Maven -> Next 6、...
-
黑猴子的家：WordCount 程序 -> IDEA 打包 -> 集群运行
1、spark-submit 2、参数解析 （1）--class 指定jar包中的主类（2）--master 指定集群的地址（3）--deplo...
-
黑猴子的家：Spark 之 简述 Maven1、pom.xml配置 尖叫提示：删除maven下载失败的包 ，在……\m2\repository目录下，搜索*.lastUpdated，并删除...
-
黑猴子的家：本地集群模式的运行（Debug）
在IDEA中远程调试WordCount程序 通过IDEA进行远程调试，主要是将IDEA作为Driver来提交应用程序，修改SparkConf，添...
-
黑猴子的家：Spark 在 IDEA 中本地调试 WordCount 程序本地Spark程序调试需要使用local提交模式，即将本机当做运行环境，Master和Worker都为本机，运行时直接加断点调试即可。 1、断点...
-
黑猴子的家：Spark 在 IDEA 中编写 WordCount 程序spark shell 仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在IDE中编制程序，然后打成jar包，然后提交到集群，最常用的...
文集作者
