跳到主要内容

K8S节点资源充足,Pod却一直Pending?污点与容忍度排查实战

Pod一直处于Pending,节点的CPU和内存看起来也够,应该先查什么?

先看Pod有没有分配到节点,再看Events里的调度报错。 如果报错包含untolerated taint,就检查节点污点和Pod容忍度是否匹配。

这篇用节点实验演示:制造Pending → 查看调度失败原因 → 对比污点和容忍度 → 修改Deployment → 验证恢复Running。

除了视频里的四步排查,文档还补充三种污点效果、默认300秒容忍度、nodeSelector与污点的区别、恢复实验时旧Pod为什么没被删除,以及常见面试问题。

实验环境: Kubernetes三节点集群,server-83为控制平面,server-84和server-85为工作节点。示例使用BusyBox和Deployment,命令在默认命名空间下执行。读者可以替换成自己的节点名称。

01 先弄清楚三个概念​

1. 污点(Taint)是什么?​

污点加在节点上,用来限制哪些Pod可以调度过来。

比如给server-84添加:

demo=pending:NoSchedule

其中:

  • demo:污点的key,可以理解成名称。
  • pending:污点的value,也就是值。
  • NoSchedule:污点的effect,表示没有匹配容忍度的Pod不能新调度到这个节点。

可以把它理解为:节点设置了一道准入条件。

2. 容忍度(Toleration)是什么?​

容忍度写在Pod的配置里,告诉调度器:这个Pod允许被调度到带有指定污点的节点。

例如:

tolerations:
- key: demo
operator: Equal
value: pending
effect: NoSchedule

这段和前面的节点污点匹配,Pod就通过了这项污点检查。调度器还会检查节点资源、节点选择器等其他条件。

一句话记忆:污点设在节点上,容忍度写在Pod上,两边匹配才能通过污点检查。

3. nodeSelector是什么?​

nodeSelector用来限制Pod能选哪些节点。例如:

nodeSelector:
kubernetes.io/hostname: server-84

它要求Pod只能选择节点标签kubernetes.io/hostname=server-84对应的节点。

本实验使用nodeSelector把Pod锁定在server-84,再通过污点让它调度失败。这样复现结果稳定,便于排查。

02 污点和容忍度的关键知识​

1. 三种污点效果​

effect实际作用会影响已经运行的Pod吗?
NoSchedule没有匹配容忍度的新Pod,不能调度进来不会主动驱逐已有Pod
PreferNoSchedule调度器尽量避开这个节点不会主动驱逐已有Pod
NoExecute阻止不匹配的新Pod进入,还能驱逐不匹配的已有Pod会

工作中很容易遇到这样的情况:节点已经设置了NoSchedule污点,但上面还有正在运行的Pod。这是正常的。NoSchedule管新调度,不负责清走旧Pod。

2. operator里的Equal和Exists怎么理解?​

容忍度最常用的匹配方式有两种:

  • Equal:key、value和指定的effect要对应。本实验使用这种方式。
  • Exists:只需要匹配key,不要求指定value;配置了effect时,还要匹配对应效果。

例如节点污点是demo=pending:NoSchedule,本实验写成:

- key: demo
operator: Equal
value: pending
effect: NoSchedule

这里的demo和pending是实验自己取的名字。生产环境可能使用dedicated=database、env=production等名称,按实际节点污点填写即可。

3. 为什么Pod里会出现两个默认容忍度?​

执行下面的命令,可能看到:

kubectl get pod -l app=pending-demo -o jsonpath='{.items[0].spec.tolerations}'; echo

示例输出:

[{"effect":"NoExecute","key":"node.kubernetes.io/not-ready","operator":"Exists","tolerationSeconds":300},{"effect":"NoExecute","key":"node.kubernetes.io/unreachable","operator":"Exists","tolerationSeconds":300}]

Kubernetes通常会给普通Pod自动加上这两个容忍度:

key含义默认容忍时间
node.kubernetes.io/not-ready节点没有就绪300秒
node.kubernetes.io/unreachable节点失联300秒

这两个设置针对已经绑定在节点上的Pod。节点发生对应故障后,Pod可以在300秒内容忍这个故障;超时后,Kubernetes可以开始驱逐它。故障在容忍时间内恢复,通常可以避免这次驱逐。

这里的300秒是节点故障的容忍时间。它不会让本实验的Pending Pod等待300秒后自动通过demo污点。

03 准备实验环境:制造一个Pending​

1. 确认节点和标签​

先看节点状态:

kubectl get nodes

本实验有三个节点:

server-83 Ready control-plane
server-84 Ready <none>
server-85 Ready <none>

接着确认目标节点的主机名标签:

kubectl get node server-84 --show-labels

检查输出中是否有kubernetes.io/hostname=server-84。后面的nodeSelector会使用这个标签。

操作范围: 以下命令会给server-84添加节点污点,可能影响其他新Pod调度。请在自己的测试集群或专用测试节点操作。

2. 给server-84添加污点​

kubectl taint nodes server-84 demo=pending:NoSchedule

预期输出:

node/server-84 tainted

确认污点已经存在:

kubectl describe node server-84 | grep -i taints

预期输出:

Taints: demo=pending:NoSchedule

如果节点上已经有相同污点,就不用重复添加。若本来还有其他污点,先确认它们是否会影响实验。

3. 创建没有demo容忍度的Deployment​

准备pod.yaml:

apiVersion: apps/v1
kind: Deployment
metadata:
name: pending-demo
spec:
replicas: 1
selector:
matchLabels:
app: pending-demo
template:
metadata:
labels:
app: pending-demo
spec:
nodeSelector:
kubernetes.io/hostname: server-84
containers:
- name: test
image: busybox:1.36
command: ["sleep", "3600"]

这份配置重点看三处:

  1. kind: Deployment:由Deployment管理Pod,后续改配置可以滚动更新。
  2. nodeSelector:把Pod限制在server-84。
  3. 没有配置tolerations:Pod无法通过server-84的demo污点检查。

首次实验前,如果有上一次创建的同名测试Deployment,先清理:

kubectl delete deployment pending-demo --ignore-not-found

这条命令只用于本文的测试资源。确认集群里没有需要保留的同名业务Deployment。

创建实验Deployment:

kubectl apply -f pod.yaml

预期输出:

deployment.apps/pending-demo created

04 按视频里的四步排查​

第一步:确认Pod有没有分配到节点​

kubectl get pod -l app=pending-demo -o wide

预期会看到类似:

NAME READY STATUS IP NODE
pending-demo-686848bb54-xxxxx 0/1 Pending <none> <none>

重点看两列:

  • STATUS=Pending:Pod还没准备好。
  • NODE=<none>:调度器还没有给Pod分配节点。

这个实验的Pod卡在调度阶段,下一步直接看调度事件。

第二步:查看Events,读懂报错​

kubectl describe pod -l app=pending-demo

找到最下面的Events,本实验的关键报错如下:

Warning FailedScheduling default-scheduler 0/3 nodes are available:
1 node(s) didn't match Pod's node affinity/selector,
1 node(s) had untolerated taint {demo: pending},
1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }.
preemption: 0/3 nodes are available: 3 Preemption is not helpful for scheduling.

逐句解释:

报错具体意思本实验对应节点
0/3 nodes are available三个节点都没有通过调度检查全部
didn't match ... selector节点不符合Pod设置的节点选择条件server-85
untolerated taint {demo: pending}节点有demo=pending污点,Pod缺少对应容忍度server-84
untolerated taint {node-role.kubernetes.io/control-plane: }控制平面节点有默认调度限制,普通Pod未容忍server-83
Preemption is not helpful抢占其他Pod也解决不了当前的调度限制本次调度

关键线索就是untolerated taint {demo: pending}。 接下来检查server-84。

Events的文字可能随着集群版本和节点配置有所不同。先找FailedScheduling,再看具体失败原因。

第三步:核对节点污点和Pod容忍度​

先查看节点污点:

kubectl describe node server-84 | grep -i taints

输出:

Taints: demo=pending:NoSchedule

含义是:没有匹配demo=pending:NoSchedule容忍度的新Pod,不能调度到这个节点。

再看Pod有哪些容忍度:

kubectl get pod -l app=pending-demo -o jsonpath='{.items[0].spec.tolerations}'; echo

输出里只有针对not-ready和unreachable的默认容忍度,没有demo这一项。

到这里就能确认:server-84存在污点,Pod缺少匹配容忍度,调度失败。

第四步:补齐容忍度,重新发布并验证​

修复有两种常用方式:

  • 污点加错了: 删除错误污点。
  • 污点需要保留,业务Pod又需要运行在这里: 给Pod添加对应容忍度。

本实验采用第二种。准备pod-fix.yaml:

apiVersion: apps/v1
kind: Deployment
metadata:
name: pending-demo
spec:
replicas: 1
selector:
matchLabels:
app: pending-demo
template:
metadata:
labels:
app: pending-demo
spec:
nodeSelector:
kubernetes.io/hostname: server-84
tolerations:
- key: demo
operator: Equal
value: pending
effect: NoSchedule
containers:
- name: test
image: busybox:1.36
command: ["sleep", "3600"]

和原来的pod.yaml相比,只新增了:

tolerations:
- key: demo
operator: Equal
value: pending
effect: NoSchedule

key、value、effect和节点污点对应上了。

先看一下文件:

cat pod-fix.yaml

应用修改后的配置:

kubectl apply -f pod-fix.yaml

预期输出:

deployment.apps/pending-demo configured

这次修改的是Deployment的Pod模板,Deployment会创建新Pod并完成滚动更新。

等待更新完成:

kubectl rollout status deployment/pending-demo --timeout=180s

最后查看:

kubectl get pod -l app=pending-demo -o wide

成功后的示例:

NAME READY STATUS IP NODE
pending-demo-ff555cc89-xxxxx 1/1 Running 10.244.250.216 server-84

这里主要确认三点:

  1. READY=1/1:容器正常运行。
  2. STATUS=Running:Pod已经启动。
  3. NODE=server-84:Pod成功调度到目标节点。

故障修复完成。

05 为什么恢复故障时,旧的Running Pod还在?​

这是本次实机实验里遇到过的现象,复现时很容易碰到。

假设已经应用pod-fix.yaml,Pod处于Running。现在直接执行:

kubectl apply -f pod.yaml

Deployment会开始滚动更新,尝试用没有容忍度的新Pod替换旧Pod。

这时可能同时看到:

pending-demo-686848bb54-xxxxx 0/1 Pending <none>
pending-demo-ff555cc89-yyyyy 1/1 Running server-84

原因很简单:新Pod卡在Pending,Deployment为了保持服务可用,会暂时保留旧的Running Pod。 默认滚动更新策略允许更新期间短时间同时存在新旧Pod。

06 工作中遇到Pending,怎么快速定位?​

1. 先分清:Pod有没有被分配到节点​

kubectl get pod -o wide
  • NODE=<none>: 先排查调度,重点看污点、节点选择条件、资源请求和PVC。
  • NODE已经有节点名: 调度已经完成,继续看容器创建、镜像、存储挂载等环节。

再执行:

kubectl describe pod <Pod名称>

重点看末尾Events,根据具体报错决定下一步。

2. 四类常见调度问题​

Events里的线索常见原因优先检查
untolerated taint节点污点与Pod容忍度不匹配kubectl describe node ...和Pod的tolerations
Insufficient cpu / Insufficient memory节点可分配资源不足以满足Pod的请求Pod的requests、节点可分配资源和已分配请求
didn't match Pod's node affinity/selector节点标签不符合Pod的选择条件nodeSelector、节点标签、nodeAffinity
unbound immediate PersistentVolumeClaimsPod使用的PVC还没完成绑定PVC状态、StorageClass、PV容量和访问模式

资源问题需要特别注意:调度器主要按资源请求(requests)做判断。kubectl top node显示的是当前使用量,不能单靠它判断能不能调度。

例如一个节点当前CPU使用率只有20%,但已经有不少Pod声明了CPU请求,新Pod仍然可能收到Insufficient cpu。

排查时可以执行:

kubectl describe node server-84

重点看Allocatable和Allocated resources,再对照Pod的resources.requests。

3. 什么时候检查PVC?​

如果Pod引用了持久化存储,先看PVC状态:

kubectl get pvc
kubectl describe pvc <PVC名称>

常见问题包括:StorageClass不匹配、容量或访问模式无法满足要求、后端卷创建失败。

有些StorageClass采用WaitForFirstConsumer,PVC会等Pod调度时再完成相关卷的创建或绑定。实际问题仍要结合Pod和PVC的Events判断。

4. 节点已经分配了,Pod却还没正常运行​

例如NODE=server-84,但Pod还在ContainerCreating,可以继续检查:

  • 镜像能否拉取。
  • 存储卷有没有挂载成功。
  • 容器运行时和网络插件有没有报错。
  • 相关Secret、ConfigMap是否存在。

这些通常会在Pod的Events里给出线索。排查顺序保持简单:先看状态,再看Events,最后针对报错检查。

07 生产环境怎么处理污点问题?​

场景一:节点污点配置错了​

先核对节点用途,确定污点确实多余,再删除。例如删除本实验的污点:

kubectl taint nodes server-84 demo=pending:NoSchedule-

然后查看:

kubectl describe node server-84 | grep -i taints

删除的是这个实验的污点。生产节点上的专用污点,先确认其用途和受影响的业务。

场景二:节点污点有业务用途​

例如某些节点专门留给数据库、监控或指定团队使用。保留污点,给有权限部署到这些节点的工作负载添加对应容忍度。

建议修改Deployment、StatefulSet等控制器的Pod模板,再按发布流程更新;这样后续新建的Pod也会继承容忍度配置。

场景三:给Pod加了容忍度,还是Pending​

继续看Events,常见原因有:

  • 同一节点还有别的污点没有匹配。
  • nodeSelector或节点亲和性条件不满足。
  • CPU、内存请求超过节点可分配资源。
  • PVC绑定或卷拓扑条件无法满足。

容忍度只解决污点限制。 调度时其他条件也要通过。

08 常用命令速查​

要查什么命令
看所有节点kubectl get nodes
看实验Pod状态kubectl get pod -l app=pending-demo -o wide
看实验Pod详细信息和Eventskubectl describe pod -l app=pending-demo
看目标节点污点kubectl describe node server-84 | grep -i taints
看Pod容忍度kubectl get pod -l app=pending-demo -o jsonpath='{.items[0].spec.tolerations}'; echo
看Deployment状态kubectl get deployment pending-demo
看原始配置cat pod.yaml
看修复配置cat pod-fix.yaml
创建故障kubectl apply -f pod.yaml
应用修复kubectl apply -f pod-fix.yaml
等待滚动更新kubectl rollout status deployment/pending-demo
删除测试Deploymentkubectl delete deployment pending-demo

09 面试回答和8道常见追问​

面试问题:K8S 的污点和容忍度有什么关系?如果 Pod 因为污点一直 Pending,怎么排查和解决?​

污点配置在节点上,用来限制 Pod 调度;容忍度配置在 Pod 上,表示允许它调度到带有对应污点的节点。

如果 Pod 因为污点一直 Pending,我会按照下面的顺序排查:

  1. 先用 kubectl get pod -o wide 查看 Pod 状态,确认有没有分配到节点。
  2. 如果还没有分配节点,就用 kubectl describe pod 查看 Events,确认有没有 untolerated taint 报错。
  3. 如果确定是污点问题,就检查节点的 Taints 和 Pod 的 Tolerations,重点核对 key、value 和 effect 是否匹配。
  4. 最后根据实际情况修复。如果节点污点加错了,就删除污点;如果污点需要保留,就给 Pod 添加对应的容忍度。

修改完成后,通过 Deployment 更新配置,再检查 Pod 是否成功调度到节点,以及容器是否正常运行。

回答思路:查看状态 → 检查 Events → 核对配置 → 修复验证。

Q1:污点和容忍度分别配置在哪里?​

污点配置在节点上,容忍度配置在 Pod 上。

例如,节点有一个污点:

demo=pending:NoSchedule

Pod 就需要配置与之匹配的容忍度,才能通过这个污点的调度限制。

污点一般通过 kubectl taint 管理,容忍度通过 Pod YAML 中的 tolerations 字段配置。

Q2:NoSchedule、PreferNoSchedule、NoExecute 有什么区别?​

这三个是污点的不同效果:

  • NoSchedule:不允许没有对应容忍度的新 Pod 调度到节点上,不影响已经运行的 Pod。
  • PreferNoSchedule:尽量避免调度,但没有合适节点时仍可能调度上去。
  • NoExecute:不允许没有对应容忍度的新 Pod 调度进来,还会驱逐节点上不符合要求的 Pod。

简单记忆:

  • NoSchedule:禁止新 Pod 调度。
  • PreferNoSchedule:尽量不调度。
  • NoExecute:禁止调度,还能驱逐已有 Pod。

Q3:给 Pod 添加了容忍度,就一定能调度到对应节点吗?​

不一定。

容忍度只是允许 Pod 通过节点的污点限制,最终能否调度成功,还要看其他条件。

例如:

  • 节点的 CPU、内存资源是否满足 Pod 的 requests。
  • Pod 的 nodeSelector 或节点亲和性是否匹配。
  • PVC 等存储条件是否满足。
  • 节点上是否还有其他无法容忍的污点。

这些条件都满足后,Pod 才有机会被调度到这个节点。

Q4:nodeSelector 和容忍度有什么区别?​

nodeSelector 用来筛选符合条件的节点。

tolerations 用来允许 Pod 通过节点的污点限制。

例如,一个 Pod 通过 nodeSelector 指定了某个工作节点,但这个节点存在 NoSchedule 污点。

即使节点选择条件已经满足,Pod 仍然需要对应的容忍度,才能调度成功。

所以实际排查时,这两个配置都需要检查。

Q5:Pod 默认的两个300秒容忍度有什么用?​

一般情况下,Kubernetes 会自动给普通 Pod 添加两个默认容忍度:

  • node.kubernetes.io/not-ready:节点未就绪。
  • node.kubernetes.io/unreachable:节点失联。

默认容忍时间都是300秒,也就是5分钟。

假设 Pod 已经运行在某个节点上,这个节点突然失联,Kubernetes 会暂时保留这个 Pod 的绑定关系。

如果节点在300秒内恢复,Pod 通常可以继续在原节点运行。

如果超过300秒仍未恢复,Kubernetes 就可以开始驱逐这个 Pod。

如果业务使用 Deployment 管理,控制器会根据副本数量创建替代 Pod。

Q6:为什么 Deployment 滚动更新时,会同时出现一个 Pending 和一个 Running 的 Pod?​

因为 Deployment 默认采用滚动更新策略,会逐步用新 Pod 替换旧 Pod。

如果新 Pod 因为污点、资源不足等原因一直 Pending,旧 Pod 可能会继续保持 Running。

这样可以尽量避免更新过程中服务中断。

排查时可以先查看新 Pod 的 Events,确定无法调度的原因。

修复后,新 Pod 正常运行,Deployment 就可以继续完成更新。

Q7:为什么节点 CPU 使用率很低,Pod 却提示 Insufficient cpu?​

因为 Kubernetes 调度 Pod 时,主要根据 CPU 资源申请量 requests 判断节点是否还有足够资源。

例如,一个节点有4核 CPU,已有 Pod 总共申请了3.5核。

即使这些 Pod 实际只使用了0.5核,节点剩余可供普通调度的 CPU 资源也可能只有0.5核左右。

如果新 Pod 申请1核,就可能出现 Insufficient cpu。

排查时重点检查:

  • Pod 的 requests 配置。
  • 节点的 Allocatable 可分配资源。
  • 节点上已有 Pod 的资源申请总量。

可以通过下面的命令查看节点资源分配情况:

kubectl describe node <节点名称>

重点查看 Allocated resources 部分。

Q8:如果 Pod 已经分配到节点,但容器一直启动不起来,怎么排查?​

先用下面的命令查看 Pod 的详细信息:

kubectl describe pod <Pod名称>

重点检查 Events 和容器状态。

常见情况包括:

  • ContainerCreating:检查存储卷挂载、容器网络初始化等环节。
  • ImagePullBackOff:检查镜像地址、镜像仓库连接和拉取凭据。
  • CreateContainerConfigError:检查 ConfigMap、Secret 等容器配置是否正确。
  • CrashLoopBackOff:说明容器启动后反复退出,需要结合容器日志排查程序异常。

如果容器已经启动过,可以继续查看日志:

kubectl logs <Pod名称> --previous

实际排查时,先通过 Events 和容器状态确定故障环节,再检查对应的配置和日志。

10 检查脚本与故障复现资料​

1. 一键查看实验状态(只读)​

保存为check_pending.sh:

#!/usr/bin/env bash
set -u

node=${1:-server-84}

printf '\n===== 实验Pod状态 =====\n'
kubectl get pod -l app=pending-demo -o wide

printf '\n===== 节点污点 =====\n'
kubectl describe node "$node" | grep -i taints

printf '\n===== Pod容忍度 =====\n'
kubectl get pod -l app=pending-demo -o jsonpath='{.items[0].spec.tolerations}'; echo

printf '\n===== Pod事件 =====\n'
kubectl describe pod -l app=pending-demo | sed -n '/^Events:/,$p'

执行:

bash check_pending.sh

如实验节点不是server-84,可传入实际节点名:

bash check_pending.sh worker-01

脚本只查看状态和配置,不修改节点或Pod。

2. 复现资料包含什么?​

配套文件包括:

  • pod.yaml:没有自定义容忍度的Deployment,用来复现Pending。
  • pod-fix.yaml:增加了匹配容忍度的Deployment,用来验证修复。
  • check_pending.sh:查看实验Pod、节点污点、容忍度和调度事件。
  • README.md:按顺序执行的实验说明。

两个YAML只差一段tolerations,适合对照学习。

3. 实验结束后清理​

先删除实验Deployment:

kubectl delete deployment pending-demo --ignore-not-found

再移除本实验添加的污点:

kubectl taint nodes server-84 demo=pending:NoSchedule-

确认结果:

kubectl describe node server-84 | grep -i taints

正常情况下,如果这个节点没有其他污点,会显示Taints: <none>。

11 最后记住这条排查线​

Pod有没有分配节点 → Events报什么错 → 核对节点污点和Pod容忍度 → 修改Deployment → 验证Running。

遇到其他Pending问题,也先从Events入手,再根据报错检查资源、节点选择条件或存储。

官方参考​