240 发简信
IP属地:北京
  • spark on eks 读取glue catalog

    需要重新编译spark , 默认spark中的hive-exec. 不认识hive.metastore.glue.catalogid、hive....

  • spark on eks with fargate 资源匹配计算公式

    spark executor memory = spark executor memory * 0.4 + spark executor mem...

  • freeipa 部署证书文档

    合并证书freeipa要求必须要有完整的证书链,完整的证书链包含 域名证书、域名的中间证书、域名证书的密钥、根证书一般的证书提供商所提供的证书下...

  • dinky 集成EMR部署文档

    下载 Dinky 1.0.3 版本到 EC2 ,解压,本文假设 Dinky 安装目录在/opt/dinky/ dinky-release-1.1...

  • kubernetes 多ingress-nginx 部署

    用helm 方式比较方便,不然需要手动修改好多yaml 美中不足,这两个ingress-controller 不通的namespace ,配置文...

  • nginx request id 穿透

    nginx proxy每次请求都会自动生成一个request_id 方便追踪请求。 很多时候我们使用的架构并不是nginx直接对应到后端app,...

  • k8s prometheus-stack 数据持久化-懒人版

    prometheus-stack的数据持久化需要通过prometheus-opreate 配置。 prometheus 通过污点、容忍调度到ma...

  • spark on ack (ali EMR on ACK) 问题汇总

    1、spark-shell 提交任务以后,终端超时,实际任务不退出,造成资源一直计费。需要进入到spark-gateway 机器上手动kill ...

  • spark on ACK

    构建spark docker 镜像下载spark-2.4.8-bin-hadoop2.7.tgz Note: 这里下载spark包一定不是能是w...