![240](https://cdn2.jianshu.io/assets/default_avatar/12-aeeea4bedf10f2a12c0d50d626951489.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/240/h/240)
简介 通常生产环境我们会用集群代替单机,主要是解决两个问题: 效率 稳定 如何提升效率?一个大大大任务,让一个人干需要一年,拆解一下让12个人同时干,可能只需要1个月。对于数...
总结一下个人看了一些Spark性能调优文章之后的理解,主要框架来自于meituantech,会在此框架上加入个人关注点,目录如下, Overview Spark的瓶颈一般来自...
partitionBy 重新分区, repartition默认采用HashPartition分区,关于数据倾斜https://www.jianshu.com/writer#/...
该安装基于Centos7 ,使用阿里云的源,kubernetes版本1.12.3 添加k8s软件源 cat <<EOF > /etc/yum.repos.d/kubernet...
安装好JDK,maven 这里我使用的是JDK 1.8-121,maven 3.3.9(好像要求的也是这个版本) 安装rpm,rpm-build,git yum instal...