https://www.cnblogs.com/starwater/p/6841807.html
发简信
IP属地：天津
-
写parquet文件遇到的问题
df.write.format("parquet").mode(SaveMode.Overwrite).save(outputPath) 一、操作系统不允许非法字符包含在文件...
-
java程序中监控内存解决OutOfMemoryError: GC overhead limit exceeded最近linux跑scala程序，内存占用较大时会出现gc错误。目前程序上没有可以优化的部分，可能是jvm参数设置不当，明天试试下面的方法。在程序中监控一下freememory...
-
nohup和&结合在后台运行进程
nohup和&nohup command & 在后台运行conmmand,其中nohup运行command的话，关闭shell仍然运行，但是ctrl C进程就会消失。而&运...
-
Failed to get broadcast_10_piece0 of broadcast_10
spark-submit yarn-client提交任务时，出现如下错误 原因：将sparkcontext定义在了object体内，而不是object的方法内，这就导致方法在...
-
使用map要谨慎
scala非RDD的数据结构使用map形成的键值对，如果存在相同键的键值对，将会覆盖，最终只保留一个。所以这种情况使用map生成键值对一定要谨慎，和spark RDD的map...
-
spark中如何划分stage（面试）
spark中如何划分stage 窄依赖指父RDD的每一个分区最多被一个子RDD的分区所用，表现为 一个父RDD的分区对应于一个子RDD的分区两个父RDD的分区对应于一个子RD...
-
IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出
https://blog.csdn.net/dabokele/article/details/52599768
-
Scala混用Java的集合类调用scala的foreach遍历问题
问题描述：在Scala中调用Java语言写的类，不能使用foreach来遍历类中的List 解决方法：需要添加Scala与Java集合库的隐式转换。如下： 这时就能使用啦
-
Scala使用util.Arrays.asList()转换数组为list的问题
目标：在Scala中将一个Array[T1]类型的数组array转换为List后，用于构造类T2。其中T1和T2都是用Java写的。 出现的问题：采用util.Arrays....
