什么是 ConfigMap

顾名思义，用来存配置的Map，可以存单个配置或者配置文件，在 POD 中我们可以通过环境变量来访问单个配置和配置文件，后者一般会被 mount 到 Pod 的一个 Volume 上，这样我们在跑 Spark on k8s 的时候，可以将一些配置放在 ConfigMap 中，和容器镜像解耦。

Spark 支持哪些 ConfigMap

如果使用 Spark 社区默认的 spark-submit 的提交方式，在 Spark 3.0 之后（当然目前还没有release），支持以下类型的 ConfigMap。

这些是用户可以配置的，在 Spark on k8s 的内部运行实现上，也用了一些 ConfigMap 特性带来的便利，可以通过 describe 命令查看下 Driver Pod 的描述，

Volumes:
  hadoop-properties:
    Type:      ConfigMap (a volume populated by a ConfigMap)
    Name:      hz10-hadoop-dir
    Optional:  false
  krb5-file:
    Type:      ConfigMap (a volume populated by a ConfigMap)
    Name:      hehe-2c6c6c6cdbf66f13-krb5-file
    Optional:  false
  kerberos-keytab:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  hehe-2c6c6c6cdbf66f13-kerberos-keytab
    Optional:    false
  spark-local-dir-1:
    Type:       EmptyDir (a temporary directory that shares a pod's lifetime)
    Medium:
    SizeLimit:  <unset>
  spark-conf-volume:
    Type:      ConfigMap (a volume populated by a ConfigMap)
    Name:      hehe-2c6c6c6cdbf66f13-driver-conf-map
    Optional:  false
  default-token-nxhgg:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-nxhgg
    Optional:    false

比如 spark-conf-volume 这个，就存放了客户端汇总的所有 spark 相关的配置，默认被 mount 到 /opt/spark/conf/spark.properties 这个位置，然后在 Driver Pod 启动时，通过 --properties-file 参数指定，也可以通过 describe 命令，我们也可以查看这个 map 的内容

 Kent@KentsMacBookPro  ~  kubectl describe cm hehe-2c6c6c6cdbf66f13-driver-conf-map  -nns1
Name:         hehe-2c6c6c6cdbf66f13-driver-conf-map
Namespace:    ns1
Labels:       <none>
Annotations:  <none>

Data
====
spark.properties:
----
#Java properties built from Kubernetes config map with name: hehe-2c6c6c6cdbf66f13-driver-conf-map
#Thu Aug 29 14:00:59 CST 2019
spark.driver.host=hehe-2c6c6c6cdbf66f13-driver-svc.ns1.svc
spark.driver.blockManager.port=7079
spark.kubernetes.executor.podNamePrefix=hehe-2c6c6c6cdbf66f13
spark.kubernetes.container.image=harbor-inner.sparkonk8s.netease.com/tenant1-project1/spark\:v3-SPARK-28896
spark.jars=hdfs\://hz-cluster10/user/kyuubi/udf/spark-upload-6bd024d4-a59a-4628-b923-b7a8bc5139f8/hadoop-lzo-0.4.20-SNAPSHOT.jar
spark.kubernetes.submitInDriver=true
spark.kerberos.principal=kyuubi/dev@HADOOP.HZ.NETEASE.COM
spark.submit.deployMode=cluster
spark.kubernetes.memoryOverheadFactor=0.1
spark.kubernetes.resource.type=java
spark.kubernetes.hadoop.configMapName=hz10-hadoop-dir
spark.kubernetes.kerberos.krb5.path=/etc/krb5.conf
spark.master=k8s\://https\://10.120.238.100\:7443
spark.executor.instanses=5
spark.submit.pyFiles=
spark.kubernetes.container.image.pullSecrets=mysecret
spark.kubernetes.driver.pod.name=hehe-2c6c6c6cdbf66f13-driver
spark.kubernetes.namespace=ns1
spark.kerberos.keytab=/mnt/secrets/kerberos-keytab/kyuubi.keytab
spark.app.id=spark-b2c4c18da0fa4e43b8dfd554893f2950
spark.app.name=hehe
spark.driver.extraJavaOptions=-agentlib\:jdwp\=transport\=dt_socket,server\=y,suspend\=y,address\=50014
spark.kubernetes.file.upload.path=hdfs\://hz-cluster10/user/kyuubi/udf
spark.driver.port=7078

Events:  <none>

如何使用 ConfigMap

创建

使用 ConfigMap 之前必须先创建，我们可以通过kubectl create configmap --help 了解这个命令的用法。
ConfigMap 和命名空间是绑定的，创建在对应的命名空间内，后面跑 spark 的时候才能使用。
我们以 spark.kubernetes.hadoop.configMapName 来举例，我们用来创建ConfigMap 来存储 HADOOP_CONF_DIR 下的文件。

 # Create a new configmap named my-config based on folder bar
  kubectl create configmap my-config --from-file=path/to/bar

  # Create a new configmap named my-config with specified keys instead of file basenames on disk
  kubectl create configmap my-config --from-file=key1=/path/to/bar/file1.txt --from-file=key2=/path/to/bar/file2.txt

可以通过上面两种方式，直接使用路径 或者 一个文件一个文件来指定

kubectl create configmap hz10-hadoop-dir -nns1 --from-file=./etc/hadoop

kubectl create configmap hz10-hadoop --from-file=./etc/hadoop/core-site.xml --from-file=./etc/hadoop/hdfs-site.xml --from-file=./etc/hadoop/yarn-site.xml -nns1

通过 describe 命令可以查看该 ConfigMap 信息。

ConfigMap 的 数据部分，key值对应的是文件的名字，Value对应的是该文件的实际内容。

使用

创建完成后，我们就可以通过将它的名称，如hz10-hadoop-dir，直接设置给spark.kubernetes.hadoop.configMapName 就可以使用啦

bin/spark-submit \
    --conf spark.kubernetes.namespace=ns1 \
    --conf spark.kubernetes.container.image.pullSecrets=mysecret \
    --conf spark.kubernetes.hadoop.configMapName=hz10-hadoop-dir \
    --conf spark.master=k8s://https://10.120.238.100:7443 \
    --conf spark.kubernetes.container.image=harbor-inner.sparkonk8s.netease.com/tenant1-project1/spark:v3-SPARK-28896
    --conf spark.kerberos.keytab=/Users/Kent/Downloads/kyuubi.keytab \
    --conf spark.kerberos.principal=kyuubi/dev@HADOOP.HZ.NETEASE.COM \
    --conf spark.kubernetes.kerberos.krb5.path=/etc/krb5.conf  \
    --name hehe \
    --deploy-mode cluster \
    --class org.apache.spark.examples.HdfsTest \
    local:///opt/spark/examples/jars/spark-examples_2.12-3.0.0-SNAPSHOT.jar \
    hdfs://hz-cluster10/user/kyuubi/hive_db/kyuubi.db/hive_tbl

总结

1. 目前Spark 2.3/2.4 不支持这个功能，需要等3.0 release
2. 3.0貌似也也只暴露了这两个 ConfigMap 给用户侧使用
3. cluster 模式提交如果带一些需要上传的jar包，貌似有个bug，先提个PR再说 https://github.com/apache/spark/pull/25609