跳到主要内容

K8S配置文件怎么管理?ConfigMap挂载、更新和subPath一次讲清楚

Java应用部署到K8S后,配置经常要改,怎么管理比较合适?

直接把配置打进镜像,每改一次都要重新制作镜像。挂载宿主机目录,Pod换到其他节点又可能找不到文件。

这种情况可以把配置放进ConfigMap,再用Volume挂载到容器里。以后改配置,直接改ConfigMap,不用重新制作镜像。下面把操作步骤、两种挂载方式的区别、配置不生效怎么查,以及常见面试追问都讲清楚。

实验内容: 创建ConfigMap → 挂载到Pod → 修改配置验证自动同步 → 使用subPath复现不更新 → 重建Pod验证新配置 → 整理实际排查方法。

实验说明: 使用现成的K8S集群和BusyBox测试容器。命令按默认命名空间编写。下面展示的是操作方法和预期现象,实际输出以自己的集群为准。

01 核心原理与方案选择​

1. 为什么用ConfigMap?​

ConfigMap可以理解成K8S里专门存放普通配置的地方。例如,Java应用的日志级别、服务地址、功能开关,都可以放进去。

配置放进ConfigMap后,修改配置就不用重做镜像。Pod即使重新调度到别的节点,新节点也能从集群拿到这份配置,不用提前把文件复制到每台服务器。

ConfigMap常见的用法有两种:

  • 挂成文件: 例如把app.properties放到容器的/etc/config目录。
  • 作为环境变量: 容器启动时,把ConfigMap里的值写进环境变量。

这篇主要讲文件挂载,因为Java应用经常读取app.properties、application.yml这一类配置文件。

2. 普通Volume挂载和subPath有什么区别?​

挂载方式挂载结果ConfigMap修改后
普通Volume挂载挂载到一个目录,ConfigMap中的配置项会变成目录里的文件文件会自动同步,但可能有延迟
subPath挂载可以只把其中一个文件挂到指定位置文件不会自动同步,需要重建Pod获取新配置

举个例子,容器的/app/config目录本来就有几个文件,现在只想放进去一个app.properties。

如果直接把整个ConfigMap挂到/app/config,这个目录原来有的文件就暂时看不到了(文件没有被删除,只是被挂载内容挡住了)。

如果用subPath,只把app.properties挂进去,目录里原有的其他文件照常能用。这就是subPath最常见的用途。

所以两种挂载各有用途。配置需要频繁更新时,优先考虑普通Volume;必须只挂单个文件时,再考虑subPath带来的更新限制。

3. 配置更新要分清三个环节​

  1. ConfigMap里的值已经修改。
  2. 新配置已经同步到容器里的文件。
  3. Java程序已经读取并使用新配置。

改ConfigMap,只完成了第一步。普通Volume挂载可以把新内容同步到容器文件,但可能有延迟。文件更新以后,Java程序还得重新读取它,配置才算真正生效。

有些Java应用启动时只读取一次配置。文件即使变了,程序仍然使用内存里的旧值,这种情况要看应用是否支持重新加载;不支持就重启应用或滚动更新Pod。

02 实机操作:创建并挂载ConfigMap​

1. 先确认集群正常​

kubectl get nodes
kubectl get pods

重点看节点是不是Ready。如果节点不正常,先处理集群问题,再做后面的实验。

2. 创建测试ConfigMap​

kubectl create cm app-config --from-literal=app.properties=version=v1

这条命令创建了app-config,其中有一个叫app.properties的配置项,内容是version=v1。

查看一下:

kubectl get cm app-config -o yaml

预期能看到:

data:
app.properties: version=v1

3. 准备Pod配置文件​

在当前目录创建pod.yaml,内容如下:

apiVersion: v1
kind: Pod
metadata:
name: config-demo
spec:
containers:
- name: test
image: busybox:1.36
command: ["sleep", "36000"]
volumeMounts:
- name: cfg
mountPath: /etc/config
volumes:
- name: cfg
configMap:
name: app-config

这个YAML主要看两处:

  • volumes指定配置从哪里来:使用app-config这个ConfigMap。
  • volumeMounts指定配置放到哪里去:挂到容器的/etc/config目录。

因此,ConfigMap里的app.properties,在容器中就会变成/etc/config/app.properties。

cat pod.yaml
kubectl apply -f pod.yaml
kubectl get pod config-demo

如果Pod还没运行,可以等它就绪:

kubectl wait --for=condition=Ready pod/config-demo --timeout=180s

4. 验证文件是否挂载成功​

kubectl exec config-demo -- cat /etc/config/app.properties

预期输出:

version=v1

这就说明ConfigMap已经以文件的形式挂到了容器里。

还可以看一下目录:

kubectl exec config-demo -- ls -la /etc/config

可以看到app.properties这个文件名,也可能看到..data这样的软链接。这个软链接正是配置更新时用到的,下一节解释它怎么工作。

03 实机操作:修改配置,验证自动同步​

1. 一条命令修改ConfigMap​

把version=v1改成version=v2:

kubectl patch cm app-config --type=merge -p '{"data":{"app.properties":"version=v2"}}'

确认ConfigMap本身已经改好:

kubectl get cm app-config -o yaml

应该能看到app.properties: version=v2。

2. 再看容器里的配置​

kubectl exec config-demo -- cat /etc/config/app.properties

刚修改完,可能暂时还是version=v1。等一会儿再次执行,就会看到:

version=v2

想连续观察,可以在终端执行:

for i in $(seq 1 30); do kubectl exec config-demo -- cat /etc/config/app.properties; sleep 5; done

看到v2之后按Ctrl+C结束,不用等循环全部跑完。

结论:普通Volume挂载能自动同步ConfigMap的修改,但有延迟。 因为节点上的kubelet需要过一段时间才会检查并更新挂载内容。

3. 为什么普通挂载能自动更新?​

关键是软链接。先看容器里的配置文件:

/etc/config/app.properties

实际读取时,app.properties会通过软链接找到当前版本的配置。可以把它想成:

app.properties → ..data/app.properties
..data → 存放当前版本配置的目录

假设原来是version=v1,现在把ConfigMap改成version=v2。kubelet会这样处理:

  1. 先在新的目录里写好v2配置。
  2. 再把..data这个软链接切换到新目录。
  3. 容器下次重新打开/etc/config/app.properties,就会读到v2。

文件路径一直没变,变的是软链接最终指向的目录。 所以普通挂载不用重建Pod,就能读到新文件。

可以用下面的命令看看这些链接:

kubectl exec config-demo -- ls -la /etc/config

注意,已经打开的文件不会因为链接切换就自动重新读取。Java程序如果只在启动时读一次配置,还是会继续使用旧值,必须由程序主动重新加载,或者重启程序。

04 实机操作:复现subPath不自动更新​

1. 准备subPath测试Pod​

先把ConfigMap改回v1,方便观察对比:

kubectl patch cm app-config --type=merge -p '{"data":{"app.properties":"version=v1"}}'

等前面的普通挂载也变回v1,再开始下一步。

创建pod-subpath.yaml:

apiVersion: v1
kind: Pod
metadata:
name: config-subpath
spec:
containers:
- name: test
image: busybox:1.36
command: ["sleep", "36000"]
volumeMounts:
- name: cfg
mountPath: /etc/app.properties
subPath: app.properties
volumes:
- name: cfg
configMap:
name: app-config

这里和普通挂载最明显的区别是:

mountPath: /etc/app.properties
subPath: app.properties

直接把单个配置文件挂到容器的/etc/app.properties,不需要拿ConfigMap覆盖整个/etc目录。

创建Pod:

kubectl apply -f pod-subpath.yaml
kubectl wait --for=condition=Ready pod/config-subpath --timeout=180s
kubectl exec config-subpath -- cat /etc/app.properties

预期是version=v1。

2. 修改ConfigMap,对比两个Pod​

kubectl patch cm app-config --type=merge -p '{"data":{"app.properties":"version=v2"}}'

等普通挂载完成同步后,分别查看:

kubectl exec config-demo -- cat /etc/config/app.properties
kubectl exec config-subpath -- cat /etc/app.properties

预期结果:

Pod挂载方式文件内容
config-demo普通Volume挂载version=v2
config-subpathsubPath挂载version=v1

现象很清楚:ConfigMap已经修改,普通挂载的文件更新了,subPath挂载的文件仍然是旧版本。

3. 为什么subPath不会跟着更新?​

普通挂载会跟着..data软链接找到新文件。

subPath则是在Pod创建时,把当时那一个配置文件单独挂进去。后面ConfigMap虽然产生了新文件,subPath还是指向原来的文件,所以容器看到的仍然是v1。

要让subPath读到v2,一般需要重建Pod,让它重新挂载最新的文件。

4. 怎么让subPath获取新配置?​

这个实验用的是单独创建的Pod,需要删除旧Pod,再用YAML创建新Pod:

kubectl delete pod config-subpath
kubectl apply -f pod-subpath.yaml
kubectl wait --for=condition=Ready pod/config-subpath --timeout=180s
kubectl exec config-subpath -- cat /etc/app.properties

新Pod里应该就能看到version=v2。

如果生产环境的Pod由Deployment管理,一般用滚动重启替换旧Pod:

kubectl rollout restart deployment/myapp
kubectl rollout status deployment/myapp

把myapp换成实际Deployment名称。

注意:kubectl rollout restart针对Deployment这类工作负载有效,不能拿它直接滚动重启前面单独创建的测试Pod。

05 实际排查:ConfigMap改了,为什么没生效?​

生产环境遇到配置没生效,我会按下面这个顺序查,避免一上来就重启全部Pod。

步骤一:确认ConfigMap真的修改了​

kubectl get cm app-config -o yaml

重点看data.app.properties里的值。如果这里还是旧配置,就先查配置有没有提交成功、是不是改错了ConfigMap。

另外要确认命名空间。ConfigMap和使用它的Pod必须在同一个命名空间。生产上通常带上-n指定命名空间,例如:

kubectl -n prod get cm app-config
kubectl -n prod get pod

prod只是示例,换成实际命名空间。

步骤二:确认Pod到底挂载了什么​

kubectl get pod config-demo -o yaml

重点看:

  • volumes.configMap.name是不是app-config。
  • volumeMounts.mountPath是不是应用实际读取的目录。
  • 有没有配置subPath。
  • ConfigMap的键名和应用读取的文件名能不能对上。

挂载失败时再看事件:

kubectl describe pod config-demo

如果Events里出现configmap "xxx" not found,通常就是ConfigMap不存在、名字写错,或者命名空间不一致。

步骤三:直接检查容器里的文件​

kubectl exec config-demo -- cat /etc/config/app.properties

如果ConfigMap已经是v2,容器里看到的还是v1,按这个顺序查:

  1. 有没有用subPath? 用了就不会自动更新。
  2. 是不是环境变量? 环境变量在容器启动时确定,运行中不会自动跟着ConfigMap变。
  3. 是不是普通Volume挂载? 是的话先等一会儿,再查看。
  4. 路径有没有弄错? 确认应用和命令检查的是同一个配置文件。

不要只看ConfigMap更新成功的提示就判断应用已经用上新配置。

步骤四:文件更新了,Java应用还是旧配置​

这种情况一般就要查应用本身:

  • 是不是只在启动时读取一次配置?
  • 有没有配置刷新、热加载或者重新读取文件的机制?
  • 应用实际读取的,是不是这个挂载路径?

比如Java应用启动时把文件读进内存,后面一直用内存里的值,那么文件改变也不会自动改变程序正在使用的配置。

不支持热加载的应用,可以按发布流程滚动更新:

kubectl rollout restart deployment/myapp
kubectl rollout status deployment/myapp

如果是Spring Boot这类应用,也要看具体配置加载方式和是否做了刷新机制,不能只因为用了ConfigMap就认为程序会自动热加载。

步骤五:生产修改配置时怎么做更稳妥?​

  1. 修改前先保存原配置,方便出问题时回退。
  2. 确认哪些Pod在使用这个ConfigMap,避免误改影响其他服务。
  3. 先验证配置内容,再根据应用是否支持动态加载决定要不要滚动更新。
  4. 修改后检查容器文件、应用日志和业务接口,确认真正生效。

配置变化比较大时,也可以新建一个带版本号的ConfigMap,让Deployment切换引用后滚动发布,回退更方便。

06 常用命令速查​

想检查什么命令
查看ConfigMapkubectl get cm app-config -o yaml
查看Pod状态kubectl get pod config-demo -o wide
查看Pod挂载配置kubectl get pod config-demo -o yaml
查看Pod事件kubectl describe pod config-demo
查看容器配置文件kubectl exec config-demo -- cat /etc/config/app.properties
查看挂载目录kubectl exec config-demo -- ls -la /etc/config
修改配置为v2kubectl patch cm app-config --type=merge -p '{"data":{"app.properties":"version=v2"}}'
重建独立测试Podkubectl delete pod config-subpath && kubectl apply -f pod-subpath.yaml
滚动重启Deploymentkubectl rollout restart deployment/myapp
查看滚动更新结果kubectl rollout status deployment/myapp

07 面试回答与6个常见追问​

面试问题:Java应用部署到K8S后,配置经常修改,应该怎么管理?​

对于Java应用配置经常变化的情况,我会用ConfigMap管理配置,再通过Volume挂载进容器。

这样配置可以单独修改,Pod换到其他节点也能拿到对应的配置。

普通Volume挂载会自动同步ConfigMap的更新,不过可能有延迟。如果只想挂单个文件,可以用subPath,但它不会自动同步更新,需要重新创建Pod来获取新配置。

另外,容器文件更新了,Java程序也不一定马上使用新配置,要看应用支不支持动态加载。不支持的话就需要重启应用,生产环境可以通过Deployment滚动更新。

面试时就按这个顺序讲:为什么用ConfigMap → 怎么挂载 → 更新会怎样 → Java程序怎么生效。

Q1:为什么不直接把配置写进镜像,或者挂载宿主机目录?​

镜像里写死配置,每改一次配置都要重新构建并发布镜像,维护起来麻烦。

挂载宿主机目录又依赖具体节点。Pod被调度到别的节点时,新节点不一定有相同的配置文件。

ConfigMap能把配置独立管理,Pod创建时从Kubernetes获取配置,比较适合这种场景。

Q2:普通Volume挂载和subPath挂载有什么区别?​

普通Volume挂载到一个目录,配置会以文件形式出现在目录里,ConfigMap更新后文件会自动同步,不过有延迟。

subPath可以只挂载一个文件或子目录,不会把目标目录原来的其他文件遮住。

缺点是subPath不会自动接收ConfigMap后续更新。要用新配置,通常重新创建Pod;如果有Deployment,就滚动更新。

Q3:ConfigMap修改了,容器里的文件为什么没有更新?​

我会先确认ConfigMap本身有没有修改成功,再检查Pod引用的是不是同一个ConfigMap、同一个命名空间。

接着看挂载方式。如果用了subPath,文件就不会自动更新。如果是普通Volume挂载,先考虑同步延迟,再检查挂载路径和文件名。

直接进容器cat一下配置文件,能很快判断问题卡在哪一步。

Q4:ConfigMap作为环境变量和作为Volume挂载,有什么区别?​

环境变量是在容器启动时注入进去的,ConfigMap修改后,已经运行的容器不会自动得到新的环境变量值,通常需要重建Pod。

Volume普通挂载是文件形式,ConfigMap修改后文件可以自动同步,但应用是否重新读取,还是要看程序本身。

Q5:容器里的配置文件已经更新,Java程序为什么还是旧配置?​

很多Java程序只在启动时读取一次配置,然后把参数放在内存里继续使用。

所以我会先确认应用实际读取的路径,再看有没有动态加载配置的功能。没有的话,需要重启应用或者滚动更新Pod,让它重新读取配置。

Q6:ConfigMap和Secret有什么区别?生产环境怎么选?​

ConfigMap用来放普通配置,比如日志级别、功能开关、服务地址。

密码、令牌这类敏感信息应该放Secret,或者交给专门的密钥管理系统。ConfigMap本身不提供保密能力。

另外,生产修改配置前最好先备份或保留版本,确认影响范围,修改后再检查应用有没有真正生效。

08 配置检查脚本与实验清理​

1. 简单检查脚本​

这个脚本只读取ConfigMap、Pod和容器里的配置,不修改任何资源。

保存为check_configmap.sh:

#!/usr/bin/env bash

ns=${1:-default}
cm=${2:-app-config}
pod=${3:-config-demo}
file=${4:-/etc/config/app.properties}

printf '\n===== ConfigMap =====\n'
kubectl -n "$ns" get cm "$cm" -o yaml || exit 1

printf '\n===== Pod状态 =====\n'
kubectl -n "$ns" get pod "$pod" -o wide || exit 1

printf '\n===== 挂载信息 =====\n'
kubectl -n "$ns" get pod "$pod" -o jsonpath='{range .spec.containers[*].volumeMounts[*]}{.name}{" "}{.mountPath}{" subPath="}{.subPath}{"\n"}{end}'

printf '\n===== 容器内配置 =====\n'
kubectl -n "$ns" exec "$pod" -- cat "$file"

printf '\n===== 最近Pod事件 =====\n'
kubectl -n "$ns" describe pod "$pod" | tail -30

默认检查本文的测试资源:

bash check_configmap.sh

如果实际在prod命名空间,资源名也不一样,可以带参数执行:

bash check_configmap.sh prod my-config my-pod /app/config/app.properties

执行完以后,直接对比脚本打印的ConfigMap内容和容器文件内容,再看挂载路径、有没有subPath以及最近的Pod事件,就能判断问题出在哪一步。

2. 清理测试资源​

实验结束后执行:

kubectl delete pod config-demo config-subpath --ignore-not-found
kubectl delete cm app-config --ignore-not-found

这些是本文创建的实验资源,别拿命令直接删除生产上同名的资源。

3. 最后记住这条排查线​

ConfigMap有没有改 → Pod怎么挂载 → 容器文件有没有更新 → Java程序有没有重新读取。

碰到配置不生效,沿着这条线查,通常就能定位是Kubernetes挂载同步问题,还是应用自己没有加载新配置。

4. 官方参考​