fact_table_optimized = select concat(key,'_', floor(rand(123456)*19)) as salted_key, va...
发简信
IP属地：上海
-
Spark Skew 的一种姿势 -
spark job hangs 20+ hour 的排查上週一個 job 莫名奇妙的hang 在那里 20+ hour,9001 個tasks 完成了8999個，還有2個未完成。 點進去看task page,沒有發現running...
-
HiveTable is also TextBasedFileFormat
Spark task的输入太大如何分割？
上周调优一个job 的时候发现一个join 意外的耗时间，如图上一个join的shuffle操作就耗时1.2h. Input 才91GB, shuffle write 52...
-
Spark task的输入太大如何分割？上周调优一个job 的时候发现一个join 意外的耗时间，如图上一个join的shuffle操作就耗时1.2h. Input 才91GB, shuffle write 52...
-
由于小文件产生的spark job performance问题上周在调优一个job ,发现spark history 出现一个重复出现的job , 这个job 写着Listing leaf files and directorioes...
-
Java agent什么是agent?agent 能做什么 https://docs.oracle.com/javase/7/docs/api/java/lang/instrument/pack...
-
always a beginner
-
Not in subquery and Not exists subquery in Spark SQL在本文中，您将了解. 1. exists and in 子查询的在mysql中的区别。 2. exists and in 子查询在sparksql中的实现。 3. not e...
-
阿里云官网（<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.aliyun.com%2F" target="_blank">https://www.aliyun.com/</a>），每日分享最新产品技术内容、官网活动资讯！
-
spark2.3 跑不過去的join 排查上週跑spark job 遇到 這樣一個語句 select cc_base_part1.*,cc_base_part1.nsf_cards_ratio * 1.00 / cc...
-
个人博客网站：<br><a href="https://links.jianshu.com/go?to=http%3A%2F%2Fwww.54tianzhisheng.cn%3Fjianshu" target="_blank">http://www.54tianzhisheng.cn?jianshu</a><br>Github：<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fzhisheng17" target="_blank">https://github.com/zhisheng17</a><br>微信公众号：zhisheng<br>微信号：zhisheng_tian <br>
-
幼儿园20181229观摩
之所以起这个标题，还是希望放好自己的心态，公办幼儿园的幼儿老师如果小朋友出问题还是最后家长解决。 被老师说了很多回家，总结几点 1。 幼儿园要求与时俱进，期待无数，穿衣脱衣，...
-
-
