240 发简信
IP属地:上海
  • Yarn 队列调度策略

    Yarn的队列调度策略主要分三种:FIFO、Capacity调度、Fair调度。 FIFO调度策略:为先进去的任务分配资源,后入的任务等待前面任务完成才能获得资源。(大任务可...

  • Spark Streaming(4) - 反压

    1. 前言 Spark Streaming在处理不断流入的数据时通过每间隔一段时间(batch interval)将这段时间内的流入的数据积累为一个batch,然后以这个ba...