K8S节点资源充足,Pod却一直Pending?污点与容忍度排查实战
Pod一直处于Pending,节点的CPU和内存看起来也够,应该先查什么?
先看Pod有没有分配到节点,再看Events里的调度报错。 如果报错包含untolerated taint,就检查节点污点和Pod容忍度是否匹配。
这篇用节点实验演示:制造Pending → 查看调度失败原因 → 对比污点和容忍度 → 修改Deployment → 验证恢复Running。
除了视频里的四步排查,文档还补充三种污点效果、默认300秒容忍度、nodeSelector与污点的区别、恢复实验时旧Pod为什么没被删除,以及常见面试问题。
实验环境: Kubernetes三节点集群,server-83为控制平面,server-84和server-85为工作节点。示例使用BusyBox和Deployment,命令在默认命名空间下执行。读者可以替换成自己的节点名称。
01 先弄清楚三个概念
1. 污点(Taint)是什么?
污点加在节点上,用来限制哪些Pod可以调度过来。
比如给server-84添加:
demo=pending:NoSchedule
其中:
demo:污点的key,可以理解成名称。pending:污点的value,也就是值。NoSchedule:污点的effect,表示没有匹配容忍度的Pod不能新调度到这个节点。
可以把它理解为:节点设置了一道准入条件。
2. 容忍度(Toleration)是什么?
容忍度写在Pod的配置里,告诉调度器:这个Pod允许被调度到带有指定污点的节点。
例如:
tolerations:
- key: demo
operator: Equal
value: pending
effect: NoSchedule
这段和前面的节点污点匹配,Pod就通过了这项污点检查。调度器还会检查节点资源、节点选择器等其他条件。
一句话记忆:污点设在节点上,容忍度写在Pod上,两边匹配才能通过污点检查。
3. nodeSelector是什么?
nodeSelector用来限制Pod能选哪些节点。例如:
nodeSelector:
kubernetes.io/hostname: server-84
它要求Pod只能选择节点标签kubernetes.io/hostname=server-84对应的节点。
本实验使用nodeSelector把Pod锁定在server-84,再通过污点让它调度失败。这样复现结果稳定,便于排查。
02 污点和容忍度的关键知识
1. 三种污点效果
| effect | 实际作用 | 会影响已经运行的Pod吗? |
|---|---|---|
NoSchedule | 没有匹配容忍度的新Pod,不能调度进来 | 不会主动驱逐已有Pod |
PreferNoSchedule | 调度器尽量避开这个节点 | 不会主动驱逐已有Pod |
NoExecute | 阻止不匹配的新Pod进入,还能驱逐不匹配的已有Pod | 会 |
工作中很容易遇到这样的情况:节点已经设置了NoSchedule污点,但上面还有正在运行的Pod。这是正常的。NoSchedule管新调度,不负责清走旧Pod。
2. operator里的Equal和Exists怎么理解?
容忍度最常用的匹配方式有两种:
Equal:key、value和指定的effect要对应。本实验使用这种方式。Exists:只需要匹配key,不要求指定value;配置了effect时,还要匹配对应效果。
例如节点污点是demo=pending:NoSchedule,本实验写成:
- key: demo
operator: Equal
value: pending
effect: NoSchedule
这里的demo和pending是实验自己取的名字。生产环境可能使用dedicated=database、env=production等名称,按实际节点污点填写即可。
3. 为什么Pod里会出现两个默认容忍度?
执行下面的命令,可能看到:
kubectl get pod -l app=pending-demo -o jsonpath='{.items[0].spec.tolerations}'; echo
示例输出:
[{"effect":"NoExecute","key":"node.kubernetes.io/not-ready","operator":"Exists","tolerationSeconds":300},{"effect":"NoExecute","key":"node.kubernetes.io/unreachable","operator":"Exists","tolerationSeconds":300}]
Kubernetes通常会给普通Pod自动加上这两个容忍度:
| key | 含义 | 默认容忍时间 |
|---|---|---|
node.kubernetes.io/not-ready | 节点没有就绪 | 300秒 |
node.kubernetes.io/unreachable | 节点失联 | 300秒 |
这两个设置针对已经绑定在节点上的Pod。节点发生对应故障后,Pod可以在300秒内容忍这个故障;超时后,Kubernetes可以开始驱逐它。故障在容忍时间内恢复,通常可以避免这次驱逐。
这里的300秒是节点故障的容忍时间。它不会让本实验的Pending Pod等待300秒后自动通过demo污点。
03 准备实验环境:制造一个Pending
1. 确认节点和标签
先看节点状态:
kubectl get nodes
本实验有三个节点:
server-83 Ready control-plane
server-84 Ready <none>
server-85 Ready <none>
接着确认目标节点的主机名标签:
kubectl get node server-84 --show-labels
检查输出中是否有kubernetes.io/hostname=server-84。后面的nodeSelector会使用这个标签。
操作范围: 以下命令会给server-84添加节点污点,可能影响其他新Pod调度。请在自己的测试集群或专用测试节点操作。
2. 给server-84添加污点
kubectl taint nodes server-84 demo=pending:NoSchedule
预期输出:
node/server-84 tainted
确认污点已经存在:
kubectl describe node server-84 | grep -i taints
预期输出:
Taints: demo=pending:NoSchedule
如果节点上已经有相同污点,就不用重复添加。若本来还有其他污点,先确认它们是否会影响实验。
3. 创建没有demo容忍度的Deployment
准备pod.yaml:
apiVersion: apps/v1
kind: Deployment
metadata:
name: pending-demo
spec:
replicas: 1
selector:
matchLabels:
app: pending-demo
template:
metadata:
labels:
app: pending-demo
spec:
nodeSelector:
kubernetes.io/hostname: server-84
containers:
- name: test
image: busybox:1.36
command: ["sleep", "3600"]
这份配置重点看三处:
kind: Deployment:由Deployment管理Pod,后续改配置可以滚动更新。nodeSelector:把Pod限制在server-84。- 没有配置
tolerations:Pod无法通过server-84的demo污点检查。
首次实验前,如果有上一次创建的同名测试Deployment,先清理:
kubectl delete deployment pending-demo --ignore-not-found
这条命令只用于本文的测试资源。确认集群里没有需要保留的同名业务Deployment。
创建实验Deployment:
kubectl apply -f pod.yaml
预期输出:
deployment.apps/pending-demo created
04 按视频里的四步排查
第一步:确认Pod有没有分配到节点
kubectl get pod -l app=pending-demo -o wide
预期会看到类似:
NAME READY STATUS IP NODE
pending-demo-686848bb54-xxxxx 0/1 Pending <none> <none>
重点看两列:
STATUS=Pending:Pod还没准备好。NODE=<none>:调度器还没有给Pod分配节点。
这个实验的Pod卡在调度阶段,下一步直接看调度事件。
第二步:查看Events,读懂报错
kubectl describe pod -l app=pending-demo
找到最下面的Events,本实验的关键报错如下:
Warning FailedScheduling default-scheduler 0/3 nodes are available:
1 node(s) didn't match Pod's node affinity/selector,
1 node(s) had untolerated taint {demo: pending},
1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }.
preemption: 0/3 nodes are available: 3 Preemption is not helpful for scheduling.
逐句解释:
| 报错 | 具体意思 | 本实验对应节点 |
|---|---|---|
0/3 nodes are available | 三个节点都没有通过调度检查 | 全部 |
didn't match ... selector | 节点不符合Pod设置的节点选择条件 | server-85 |
untolerated taint {demo: pending} | 节点有demo=pending污点,Pod缺少对应容忍度 | server-84 |
untolerated taint {node-role.kubernetes.io/control-plane: } | 控制平面节点有默认调度限制,普通Pod未容忍 | server-83 |
Preemption is not helpful | 抢占其他Pod也解决不了当前的调度限制 | 本次调度 |
关键线索就是untolerated taint {demo: pending}。 接下来检查server-84。
Events的文字可能随着集群版本和节点配置有所不同。先找
FailedScheduling,再看具体失败原因。
第三步:核对节点污点和Pod容忍度
先查看节点污点:
kubectl describe node server-84 | grep -i taints
输出:
Taints: demo=pending:NoSchedule
含义是:没有匹配demo=pending:NoSchedule容忍度的新Pod,不能调度到这个节点。
再看Pod有哪些容忍度:
kubectl get pod -l app=pending-demo -o jsonpath='{.items[0].spec.tolerations}'; echo
输出里只有针对not-ready和unreachable的默认容忍度,没有demo这一项。
到这里就能确认:server-84存在污点,Pod缺少匹配容忍度,调度失败。
第四步:补齐容忍度,重新发布并验证
修复有两种常用方式:
- 污点加错了: 删除错误污点。
- 污点需要保留,业务Pod又需要运行在这里: 给Pod添加对应容忍度。
本实验采用第二种。准备pod-fix.yaml:
apiVersion: apps/v1
kind: Deployment
metadata:
name: pending-demo
spec:
replicas: 1
selector:
matchLabels:
app: pending-demo
template:
metadata:
labels:
app: pending-demo
spec:
nodeSelector:
kubernetes.io/hostname: server-84
tolerations:
- key: demo
operator: Equal
value: pending
effect: NoSchedule
containers:
- name: test
image: busybox:1.36
command: ["sleep", "3600"]
和原来的pod.yaml相比,只新增了:
tolerations:
- key: demo
operator: Equal
value: pending
effect: NoSchedule
key、value、effect和节点污点对应上了。
先看一下文件:
cat pod-fix.yaml
应用修改后的配置:
kubectl apply -f pod-fix.yaml
预期输出:
deployment.apps/pending-demo configured
这次修改的是Deployment的Pod模板,Deployment会创建新Pod并完成滚动更新。
等待更新完成:
kubectl rollout status deployment/pending-demo --timeout=180s
最后查看:
kubectl get pod -l app=pending-demo -o wide
成功后的示例:
NAME READY STATUS IP NODE
pending-demo-ff555cc89-xxxxx 1/1 Running 10.244.250.216 server-84
这里主要确认三点:
READY=1/1:容器正常运行。STATUS=Running:Pod已经启动。NODE=server-84:Pod成功调度到目标节点。
故障修复完成。
05 为什么恢复故障时,旧的Running Pod还在?
这是本次实机实验里遇到过的现象,复现时很容易碰到。
假设已经应用pod-fix.yaml,Pod处于Running。现在直接执行:
kubectl apply -f pod.yaml
Deployment会开始滚动更新,尝试用没有容忍度的新Pod替换旧Pod。
这时可能同时看到:
pending-demo-686848bb54-xxxxx 0/1 Pending <none>
pending-demo-ff555cc89-yyyyy 1/1 Running server-84
原因很简单:新Pod卡在Pending,Deployment为了保持服务可用,会暂时保留旧的Running Pod。 默认滚动更新策略允许更新期间短时间同时存在新旧Pod。
06 工作中遇到Pending,怎么快速定位?
1. 先分清:Pod有没有被分配到节点
kubectl get pod -o wide
NODE=<none>: 先排查调度,重点看污点、节点选择条件、资源请求和PVC。NODE已经有节点名: 调度已经完成,继续看容器创建、镜像、存储挂载等环节。
再执行:
kubectl describe pod <Pod名称>
重点看末尾Events,根据具体报错决定下一步。
2. 四类常见调度问题
| Events里的线索 | 常见原因 | 优先检查 |
|---|---|---|
untolerated taint | 节点污点与Pod容忍度不匹配 | kubectl describe node ...和Pod的tolerations |
Insufficient cpu / Insufficient memory | 节点可分配资源不足以满足Pod的请求 | Pod的requests、节点可分配资源和已分配请求 |
didn't match Pod's node affinity/selector | 节点标签不符合Pod的选择条件 | nodeSelector、节点标签、nodeAffinity |
unbound immediate PersistentVolumeClaims | Pod使用的PVC还没完成绑定 | PVC状态、StorageClass、PV容量和访问模式 |
资源问题需要特别注意:调度器主要按资源请求(requests)做判断。kubectl top node显示的是当前使用量,不能单靠它判断能不能调度。
例如一个节点当前CPU使用率只有20%,但已经有不少Pod声明了CPU请求,新Pod仍然可能收到Insufficient cpu。
排查时可以执行:
kubectl describe node server-84
重点看Allocatable和Allocated resources,再对照Pod的resources.requests。
3. 什么时候检查PVC?
如果Pod引用了持久化存储,先看PVC状态:
kubectl get pvc
kubectl describe pvc <PVC名称>
常见问题包括:StorageClass不匹配、容量或访问模式无法满足要求、后端卷创建失败。
有些StorageClass采用WaitForFirstConsumer,PVC会等Pod调度时再完成相关卷的创建或绑定。实际问题仍要结合Pod和PVC的Events判断。
4. 节点已经分配了,Pod却还没正常运行
例如NODE=server-84,但Pod还在ContainerCreating,可以继续检查:
- 镜像能否拉取。
- 存储卷有没有挂载成功。
- 容器运行时和网络插件有没有报错。
- 相关Secret、ConfigMap是否存在。
这些通常会在Pod的Events里给出线索。排查顺序保持简单:先看状态,再看Events,最后针对报错检查。
07 生产环境怎么处理污点问题?
场景一:节点污点配置错了
先核对节点用途,确定污点确实多余,再删除。例如删除本实验的污点:
kubectl taint nodes server-84 demo=pending:NoSchedule-
然后查看:
kubectl describe node server-84 | grep -i taints
删除的是这个实验的污点。生产节点上的专用污点,先确认其用途和受影响的业务。
场景二:节点污点有业务用途
例如某些节点专门留给数据库、监控或指定团队使用。保留污点,给有权限部署到这些节点的工作负载添加对应容忍度。
建议修改Deployment、StatefulSet等控制器的Pod模板,再按发布流程更新;这样后续新建的Pod也会继承容忍度配置。
场景三:给Pod加了容忍度,还是Pending
继续看Events,常见原因有:
- 同一节点还有别的污点没有匹配。
nodeSelector或节点亲和性条件不满足。- CPU、内存请求超过节点可分配资源。
- PVC绑定或卷拓扑条件无法满足。
容忍度只解决污点限制。 调度时其他条件也要通过。
08 常用命令速查
| 要查什么 | 命令 |
|---|---|
| 看所有节点 | kubectl get nodes |
| 看实验Pod状态 | kubectl get pod -l app=pending-demo -o wide |
| 看实验Pod详细信息和Events | kubectl describe pod -l app=pending-demo |
| 看目标节点污点 | kubectl describe node server-84 | grep -i taints |
| 看Pod容忍度 | kubectl get pod -l app=pending-demo -o jsonpath='{.items[0].spec.tolerations}'; echo |
| 看Deployment状态 | kubectl get deployment pending-demo |
| 看原始配置 | cat pod.yaml |
| 看修复配置 | cat pod-fix.yaml |
| 创建故障 | kubectl apply -f pod.yaml |
| 应用修复 | kubectl apply -f pod-fix.yaml |
| 等待滚动更新 | kubectl rollout status deployment/pending-demo |
| 删除测试Deployment | kubectl delete deployment pending-demo |
09 面试回答和8道常见追问
面试问题:K8S 的污点和容忍度有什么关系?如果 Pod 因为污点一直 Pending,怎么排查和解决?
污点配置在节点上,用来限制 Pod 调度;容忍度配置在 Pod 上,表示允许它调度到带有对应污点的节点。
如果 Pod 因为污点一直 Pending,我会按照下面的顺序排查:
- 先用
kubectl get pod -o wide查看 Pod 状态,确认有没有分配到节点。 - 如果还没有分配节点,就用
kubectl describe pod查看 Events,确认有没有untolerated taint报错。 - 如果确定是污点问题,就检查节点的 Taints 和 Pod 的 Tolerations,重点核对 key、value 和 effect 是否匹配。
- 最后根据实际情况修复。如果节点污点加错了,就删除污点;如果污点需要保留,就给 Pod 添加对应的容忍度。
修改完成后,通过 Deployment 更新配置,再检查 Pod 是否成功调度到节点,以及容器是否正常运行。
回答思路:查看状态 → 检查 Events → 核对配置 → 修复验证。
Q1:污点和容忍度分别配置在哪里?
污点配置在节点上,容忍度配置在 Pod 上。
例如,节点有一个污点:
demo=pending:NoSchedule
Pod 就需要配置与之匹配的容忍度,才能通过这个污点的调度限制。
污点一般通过 kubectl taint 管理,容忍度通过 Pod YAML 中的 tolerations 字段配置。
Q2:NoSchedule、PreferNoSchedule、NoExecute 有什么区别?
这三个是污点的不同效果:
- NoSchedule:不允许没有对应容忍度的新 Pod 调度到节点上,不影响已经运行的 Pod。
- PreferNoSchedule:尽量避免调度,但没有合适节点时仍可能调度上去。
- NoExecute:不允许没有对应容忍度的新 Pod 调度进来,还会驱逐节点上不符合要求的 Pod。
简单记忆:
NoSchedule:禁止新 Pod 调度。PreferNoSchedule:尽量不调度。NoExecute:禁止调度,还能驱逐已有 Pod。
Q3:给 Pod 添加了容忍度,就一定能调度到对应节点吗?
不一定。
容忍度只是允许 Pod 通过节点的污点限制,最终能否调度成功,还要看其他条件。
例如:
- 节点的 CPU、内存资源是否满足 Pod 的 requests。
- Pod 的 nodeSelector 或节点亲和性是否匹配。
- PVC 等存储条件是否满足。
- 节点上是否还有其他无法容忍的污点。
这些条件都满足后,Pod 才有机会被调度到这个节点。
Q4:nodeSelector 和容忍度有什么区别?
nodeSelector 用来筛选符合条件的节点。
tolerations 用来允许 Pod 通过节点的污点限制。
例如,一个 Pod 通过 nodeSelector 指定了某个工作节点,但这个节点存在 NoSchedule 污点。
即使节点选择条件已经满足,Pod 仍然需要对应的容忍度,才能调度成功。
所以实际排查时,这两个配置都需要检查。
Q5:Pod 默认的两个300秒容忍度有什么用?
一般情况下,Kubernetes 会自动给普通 Pod 添加两个默认容忍度:
node.kubernetes.io/not-ready:节点未就绪。node.kubernetes.io/unreachable:节点失联。
默认容忍时间都是300秒,也就是5分钟。
假设 Pod 已经运行在某个节点上,这个节点突然失联,Kubernetes 会暂时保留这个 Pod 的绑定关系。
如果节点在300秒内恢复,Pod 通常可以继续在原节点运行。
如果超过300秒仍未恢复,Kubernetes 就可以开始驱逐这个 Pod。
如果业务使用 Deployment 管理,控制器会根据副本数量创建替代 Pod。
Q6:为什么 Deployment 滚动更新时,会同时出现一个 Pending 和一个 Running 的 Pod?
因为 Deployment 默认采用滚动更新策略,会逐步用新 Pod 替换旧 Pod。
如果新 Pod 因为污点、资源不足等原因一直 Pending,旧 Pod 可能会继续保持 Running。
这样可以尽量避免更新过程中服务中断。
排查时可以先查看新 Pod 的 Events,确定无法调度的原因。
修复后,新 Pod 正常运行,Deployment 就可以继续完成更新。
Q7:为什么节点 CPU 使用率很低,Pod 却提示 Insufficient cpu?
因为 Kubernetes 调度 Pod 时,主要根据 CPU 资源申请量 requests 判断节点是否还有足够资源。
例如,一个节点有4核 CPU,已有 Pod 总共申请了3.5核。
即使这些 Pod 实际只使用了0.5核,节点剩余可供普通调度的 CPU 资源也可能只有0.5核左右。
如果新 Pod 申请1核,就可能出现 Insufficient cpu。
排查时重点检查:
- Pod 的
requests配置。 - 节点的
Allocatable可分配资源。 - 节点上已有 Pod 的资源申请总量。
可以通过下面的命令查看节点资源分配情况:
kubectl describe node <节点名称>
重点查看 Allocated resources 部分。
Q8:如果 Pod 已经分配到节点,但容器一直启动不起来,怎么排查?
先用下面的命令查看 Pod 的详细信息:
kubectl describe pod <Pod名称>
重点检查 Events 和容器状态。
常见情况包括:
- ContainerCreating:检查存储卷挂载、容器网络初始化等环节。
- ImagePullBackOff:检查镜像地址、镜像仓库连接和拉取凭据。
- CreateContainerConfigError:检查 ConfigMap、Secret 等容器配置是否正确。
- CrashLoopBackOff:说明容器启动后反复退出,需要结合容器日志排查程序异常。
如果容器已经启动过,可以继续查看日志:
kubectl logs <Pod名称> --previous
实际排查时,先通过 Events 和容器状态确定故障环节,再检查对应的配置和日志。
10 检查脚本与故障复现资料
1. 一键查看实验状态(只读)
保存为check_pending.sh:
#!/usr/bin/env bash
set -u
node=${1:-server-84}
printf '\n===== 实验Pod状态 =====\n'
kubectl get pod -l app=pending-demo -o wide
printf '\n===== 节点污点 =====\n'
kubectl describe node "$node" | grep -i taints
printf '\n===== Pod容忍度 =====\n'
kubectl get pod -l app=pending-demo -o jsonpath='{.items[0].spec.tolerations}'; echo
printf '\n===== Pod事件 =====\n'
kubectl describe pod -l app=pending-demo | sed -n '/^Events:/,$p'
执行:
bash check_pending.sh
如实验节点不是server-84,可传入实际节点名:
bash check_pending.sh worker-01
脚本只查看状态和配置,不修改节点或Pod。
2. 复现资料包含什么?
配套文件包括:
pod.yaml:没有自定义容忍度的Deployment,用来复现Pending。pod-fix.yaml:增加了匹配容忍度的Deployment,用来验证修复。check_pending.sh:查看实验Pod、节点污点、容忍度和调度事件。README.md:按顺序执行的实验说明。
两个YAML只差一段tolerations,适合对照学习。
3. 实验结束后清理
先删除实验Deployment:
kubectl delete deployment pending-demo --ignore-not-found
再移除本实验添加的污点:
kubectl taint nodes server-84 demo=pending:NoSchedule-
确认结果:
kubectl describe node server-84 | grep -i taints
正常情况下,如果这个节点没有其他污点,会显示Taints: <none>。
11 最后记住这条排查线
Pod有没有分配节点 → Events报什么错 → 核对节点污点和Pod容忍度 → 修改Deployment → 验证Running。
遇到其他Pending问题,也先从Events入手,再根据报错检查资源、节点选择条件或存储。
官方参考
- Kubernetes污点与容忍度:https://kubernetes.io/zh-cn/docs/concepts/scheduling-eviction/taint-and-toleration/
- Kubernetes将Pod分配给节点:https://kubernetes.io/zh-cn/docs/concepts/scheduling-eviction/assign-pod-node/
- Kubernetes Deployment滚动更新:https://kubernetes.io/zh-cn/docs/concepts/workloads/controllers/deployment/