上周调优一个job 的时候发现一个join 意外的耗时间，如图上一个join的shuffle操作就耗时1.2h. Input 才91GB, shuffle write 52...
发简信
IP属地：上海
-
Spark task的输入太大如何分割？
上周调优一个job 的时候发现一个join 意外的耗时间，如图上一个join的shuffle操作就耗时1.2h. Input 才91GB, shuffle write 52...