240 发简信
IP属地:上海
  • Resize,w 360,h 240
    Spark Skew 的一种姿势

    fact_table_optimized = select concat(key,'_', floor(rand(123456)*19)) as...

  • Resize,w 360,h 240
    spark job hangs 20+ hour 的排查

    上週一個 job 莫名奇妙的hang 在那里 20+ hour,9001 個tasks 完成了8999個,還有2個未完成。 點進去看task p...

  • Resize,w 360,h 240
    Spark task的输入太大如何分割?

    上周调优一个job 的时候发现一个join 意外的耗时间,如图上一个join的shuffle操作就耗时1.2h. Input 才91GB, s...

  • Resize,w 360,h 240
    由于小文件产生的spark job performance问题

    上周在调优一个job ,发现spark history 出现一个重复出现的job , 这个job 写着Listing leaf files a...

  • Resize,w 360,h 240
    Java agent

    什么是agent?agent 能做什么 https://docs.oracle.com/javase/7/docs/api/java/lang/...

  • Resize,w 360,h 240
    Not in subquery and Not exists subquery in Spark SQL

    在本文中,您将了解. 1. exists and in 子查询的在mysql中的区别。 2. exists and in 子查询在sparksq...

  • Resize,w 360,h 240
    spark2.3 跑不過去的join 排查

    上週跑spark job 遇到 這樣一個語句 select cc_base_part1.*,cc_base_part1.nsf_cards_ra...

  • 幼儿园20181229观摩

    之所以起这个标题,还是希望放好自己的心态,公办幼儿园的幼儿老师如果小朋友出问题还是最后家长解决。 被老师说了很多回家,总结几点 1。 幼儿园要求...

  • Resize,w 360,h 240
    〔一日一整理〕2017.11.15

    整理人:zhangliyun 把牙刷杯竖置了,放在牙刷架上。桌上只留下牙膏,洗面奶,洗衣液,洗手液。桌子上东西不能多,多了要变成儿子玩具。 试了...