跳到主要内容

K8S 服务偶发超时,conntrack 表满怎么排查?

Pod 运行正常,CPU 和内存也没有明显异常,但服务之间偶尔调用超时。这时可以结合报错时间,检查请求两端节点的网络和内核日志。

如果日志出现 nf_conntrack: table full, dropping packet,再对照连接跟踪表的使用量,就有了明确的排查方向。

处理顺序:检查 Pod 和 Service → 查节点日志和表使用量 → 临时恢复业务 → 排查连接增长的原因 → 优化并监控。

01 核心原理:conntrack 表为什么会满?​

1. conntrack 是什么?​

conntrack 是 Linux 内核的连接跟踪机制,用来记录经过跟踪的网络连接。Kubernetes 中的 Service 转发等场景会用到它。

节点上的连接跟踪表里可能有 TCP、UDP 等不同协议的记录。可以通过下面两个参数查看当前用量和上限:

参数含义
net.netfilter.nf_conntrack_count当前连接跟踪条目数
net.netfilter.nf_conntrack_max允许的最大条目数

2. 表满了会出现什么问题?​

当连接创建太快、旧记录释放不及时,条目数就可能接近上限。表满后,新连接的数据包可能被丢弃,业务会出现连接超时或请求失败。

节点内核日志里可能看到:

nf_conntrack: table full, dropping packet

3. 短连接为什么会让表变满?​

TCP 连接关闭后,conntrack 记录通常还会保留一段时间。短连接创建得越频繁,表里等待过期的记录可能越多。新记录增长速度超过旧记录释放速度,表就会逐渐被占满。

TIME_WAIT 是连接关闭后可能看到的一种状态。排查时,还要结合新建连接速率、连接来源和应用监控一起看。

02 通用排查:服务超时,怎么检查 conntrack?​

这一节适合线上排查。把下面的 业务命名空间 换成实际名称,在有 kubectl 权限的机器上执行:

ns=业务命名空间
kubectl get pod -n "$ns" -o wide
kubectl top pod -n "$ns"
kubectl get svc,ep -n "$ns"

先看异常 Pod 是否运行正常、分别在哪些节点,再看资源使用情况,以及 Service 和 Endpoints 是否对应。kubectl top 需要 Metrics Server;没有安装时,可以先继续其他检查。

1. 查看节点内核日志​

登录发生异常的 Pod 所在节点。客户端和服务端可能在不同节点,结合实际超时时间分别检查。

dmesg -T | grep -i conntrack

看到 table full, dropping packet,说明该节点发生过连接跟踪表满。查看日志时间,确认是否和业务超时的时间接近。

2. 查看当前条目数和上限​

sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max

把 count 和 max 对比,并结合监控看使用量有没有持续增长。日志里的报错和当前使用量一起看:表满之后,旧记录可能已经过期,当前的 count 会下降。

3. 先恢复业务​

确认节点出现表满后,可以根据节点内存、连接规模和当前上限,临时调大容量。例如:

sysctl -w net.netfilter.nf_conntrack_max=262144

262144 是示例,执行前先看当前上限,换成适合自己环境的新值。调整后,观察请求成功率、表使用率和丢包情况。

sysctl -w 是临时修改。长期配置需要结合节点的配置管理方式处理,并检查 kube-proxy 的 conntrack 配置,避免节点重启或组件重启后被其他配置改回。

4. 查连接增长的来源​

节点装有 conntrack 工具时,可以先看连接状态:

conntrack -L -p tcp | head -n 20
conntrack -L -p tcp 2>/dev/null | grep TIME_WAIT | head -n 20

再结合来源 IP 定位连接来自哪个业务。下面的 IP 换成实际客户端 Pod IP:

conntrack -L -p tcp -s 10.244.1.10 2>/dev/null | head -n 20

想观察新的 TCP 连接记录,可以短时间查看事件:

timeout 5 conntrack -E -p tcp -e NEW

conntrack -L 展示的是查看时表里已有的记录;判断新建连接是否频繁,还要结合连接事件、应用监控或抓包。表很大时,列出全部连接会消耗节点资源,线上按需使用。

5. 做长期处理​

根据排查结果处理连接增长的来源,例如推动应用使用连接池、长连接,减少不必要的短连接。结合连接规模调整表容量;确有必要时,再评估相关超时参数。

同时监控表使用率、连接创建速率和丢包情况。调整后继续观察业务请求,确认问题没有反复。

03 实机故障复现与恢复​

1. 实验准备​

环境要求​

准备一套测试用的 Kubernetes 集群,至少有两个可用工作节点。本文使用:

节点用途
server-84运行客户端 Pod,制造短连接,调整 conntrack 上限
server-85运行 Nginx 服务端 Pod

在能执行 kubectl 的机器上查看节点名:

kubectl get nodes

后面的 YAML 使用了这两个节点名。如果你的节点名不同,把 YAML 中的两个 nodeName 改成自己的节点名。

需要提前准备:

  • 节点可以拉取 nginx:1.26-alpine 和 curlimages/curl:8.10.1 镜像,或提前把镜像导入节点。
  • 客户端节点能以 root 执行 sysctl 和 dmesg;查看连接明细需要安装 conntrack。
  • kubectl top 需要集群已安装 Metrics Server。没有安装也可以练习,跳过该命令即可。

请在测试环境操作。 本实验会调低客户端节点的连接跟踪上限,可能影响该节点上的其他 Pod 和新建 SSH 连接。操作前保留一个已登录的客户端节点终端,实验结束后恢复原值。

安装 conntrack 工具​

在客户端节点执行,按系统选择一条:

# Ubuntu / Debian
apt-get update && apt-get install -y conntrack

# CentOS / Rocky / AlmaLinux
yum install -y conntrack-tools

2. 创建测试环境​

以下 kubectl 命令在能管理集群的机器上执行。

创建命名空间和 Service​

kubectl create namespace ct-demo

本实验使用独立的 ct-demo 命名空间。如果它已经存在,请先确认它是空的实验环境。

kubectl apply -f - <<'EOF'
apiVersion: v1
kind: Service
metadata:
name: ct-server
namespace: ct-demo
spec:
selector:
app: ct-server
ports:
- port: 8080
targetPort: 8080
EOF

创建客户端和服务端 Pod​

先保存 YAML。节点名不同的话,修改文件里的两处 nodeName,再创建 Pod。

cat > ct-pods.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
name: ct-server
namespace: ct-demo
labels:
app: ct-server
spec:
nodeName: server-85
containers:
- name: server
image: nginx:1.26-alpine
command: ["/bin/sh", "-c"]
args:
- |
cat > /etc/nginx/conf.d/default.conf <<'CONF'
server {
listen 8080;
access_log off;
location / {
return 200 "ok\n";
}
}
CONF
exec nginx -g 'daemon off;'
---
apiVersion: v1
kind: Pod
metadata:
name: ct-client
namespace: ct-demo
spec:
nodeName: server-84
enableServiceLinks: true
containers:
- name: client
image: curlimages/curl:8.10.1
command: ["/bin/sh", "-c"]
args:
- |
target="http://${CT_SERVER_SERVICE_HOST}:8080/"

for i in 1 2 3 4 5 6 7 8; do
(
while true; do
if [ -f /tmp/load ]; then
curl -fsS --connect-timeout 1 --max-time 2 \
-H 'Connection: close' -o /dev/null "$target" \
>/dev/null 2>&1
sleep 0.05
else
sleep 1
fi
done
) &
done

while true; do
curl -fsS --connect-timeout 1 --max-time 2 \
-H 'Connection: close' -o /dev/null "$target" \
2>/tmp/probe.err
result=$?
case "$result" in
0) echo "$(date +%T) OK" ;;
28) echo "$(date +%T) TIMEOUT" ;;
*) echo "$(date +%T) ERROR: $(cat /tmp/probe.err)" ;;
esac
sleep 1
done
EOF

kubectl apply -f ct-pods.yaml

客户端有两组请求:一组持续输出 OK 或 TIMEOUT,用于观察业务;另一组通过 /tmp/load 控制,在后台制造短连接。创建后,后台负载默认关闭。

确认初始状态​

kubectl -n ct-demo wait --for=condition=Ready pod --all --timeout=180s
kubectl get pod -n ct-demo -o wide
kubectl get svc,ep -n ct-demo
kubectl logs -n ct-demo ct-client --tail=10

确认两个 Pod 都是 Running,分别在两个节点上;Service 的 Endpoints 中有服务端 Pod 的 IP;客户端日志连续显示 OK。

如果 Pod 一直没有启动,先用 kubectl describe pod -n ct-demo ct-server 或 kubectl describe pod -n ct-demo ct-client 查看原因。镜像拉取失败时,先处理镜像问题。

3. 制造故障​

保存原上限​

以下命令在客户端所在节点执行,也就是本文的 server-84。

if [ ! -f /root/ct-demo-max.before ]; then
sysctl -n net.netfilter.nf_conntrack_max > /root/ct-demo-max.before
fi
cat /root/ct-demo-max.before
sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max

/root/ct-demo-max.before 用于实验结束后恢复。文件已存在时不会覆盖,请确认文件里的值是本次实验前的原始上限;如果有旧实验留下的文件,先核对原值再处理。

调低上限​

先确认当前条目数低于 8192,原上限高于 8192;条件不满足时,按当前节点数值另选一个合适的实验上限。确认后执行:

sysctl -w net.netfilter.nf_conntrack_max=8192

启动短连接负载​

回到能执行 kubectl 的机器:

kubectl -n ct-demo exec ct-client -- touch /tmp/load
kubectl -n ct-demo logs -f ct-client --tail=10

在客户端节点另开一个终端,观察表的使用情况:

watch -n 1 'sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max'

短连接会持续产生,条目数逐渐接近上限。表满后,客户端日志可能出现 TIMEOUT。按 Ctrl+C 可以退出 watch 或日志跟踪。

如果长时间都是 TIMEOUT,可以在客户端节点适当调大上限,例如 12288,再观察一段时间。如果一直没有出现超时,可以适当降低上限。每次调整后留一点时间观察,直到出现大部分请求成功、偶尔超时的效果。

不同内核和网络插件的处理方式有差异,超时频率需要在自己的环境里调整。先确认节点日志确实出现表满报错,再进入后面的排查。

4. 按视频顺序排查​

检查 Pod、Service 和 Endpoints​

在能执行 kubectl 的机器上:

kubectl get pod -n ct-demo -o wide; kubectl top pod -n ct-demo
kubectl get svc,ep -n ct-demo

观察 Pod 状态和所在节点,再看 CPU、内存以及 Service 对应的 Endpoints。实验中 Pod 通常保持运行,Service 和 Endpoints 也正常。

查看节点内核日志​

登录客户端所在节点,查看最近的内核日志:

dmesg -T | tail -n 100

关注故障时段是否出现:

nf_conntrack: table full, dropping packet

最近 100 行没有看到时,可以按关键字查找:

dmesg -T | grep -i conntrack

日志中出现表满报错,说明这个节点发生过 conntrack 表满。结合日志时间和业务超时的时间一起判断。

查看表的当前使用量​

sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max

示例输出:

net.netfilter.nf_conntrack_count = 8192
net.netfilter.nf_conntrack_max = 8192

count 是当前条目数,max 是上限。输出会随实际情况变化;如果表满后已有记录过期,查看时 count 可能已经下降。

临时恢复业务​

本实验之前将上限设为了 8192,这里把它调大。如果实验时使用了其他上限,先确认新值大于当前上限:

sysctl -w net.netfilter.nf_conntrack_max=262144

回到客户端日志观察请求:

kubectl -n ct-demo logs -f ct-client --tail=10

请求恢复为 OK,再结合表使用量继续观察。262144 是实验示例;实际环境按节点内存、连接规模和当前上限选择,确认新值比原上限大。sysctl -w 属于临时修改,重启后通常会由系统配置重新设置。

5. 排查短连接​

调大上限后,后台短连接负载仍在运行。在客户端节点查看表里的 TCP 记录:

conntrack -L -p tcp | head -n 20

再筛选处于 TIME_WAIT 状态的记录:

conntrack -L -p tcp 2>/dev/null | grep TIME_WAIT | head -n 20

可以看到类似记录:

tcp 6 110 TIME_WAIT src=10.244.1.10 dst=10.96.0.20 ...

这里的 IP 和剩余时间以实际输出为准。TIME_WAIT 记录说明连接进入了关闭后的等待阶段,conntrack 记录还在表里。表中有其他业务的连接时,可以结合客户端 Pod IP 筛选:

# 先在能执行 kubectl 的机器上查看客户端 Pod IP
kubectl get pod -n ct-demo ct-client -o wide

# 再在客户端节点执行,把 IP 换成查到的客户端 Pod IP
conntrack -L -p tcp -s 10.244.1.10 2>/dev/null | grep TIME_WAIT | head -n 20

本实验的客户端后台一直在请求后关闭连接。实际业务中,可以结合应用监控或抓包,观察短时间内是否频繁建立新连接,再结合连接状态判断原因。

节点装有 tcpdump 时,可以抓取发往 8080 端口的新建连接请求:

timeout 5 tcpdump -i any -nn -c 10 'tcp dst port 8080 and tcp[tcpflags] & (tcp-syn|tcp-ack) == tcp-syn'

输出中的 Flags [S] 是 TCP 建立连接时的 SYN 包。抓包里可能有重传和重复观察到的数据包,结合应用监控一起看连接创建速率。

6. 停止负载并恢复环境​

停止后台短连接​

在能执行 kubectl 的机器上:

kubectl -n ct-demo exec ct-client -- rm -f /tmp/load

客户端仍会每秒发一个观察请求,后台负载已经停止。刚关闭的连接记录会等超时后逐渐减少。

恢复原来的 conntrack 上限​

在客户端节点执行:

sysctl -w net.netfilter.nf_conntrack_max="$(cat /root/ct-demo-max.before)"
sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max

确认 nf_conntrack_max 已恢复为备份的值。如果节点处于表满状态,导致 kubectl exec 无法连接,可以先执行这一步,等节点恢复后再停止负载。

删除实验资源​

确认 ct-demo 是本实验专用的命名空间后,在能执行 kubectl 的机器上:

kubectl delete namespace ct-demo

恢复完成并核对原值后,可以在客户端节点删除备份文件:

rm -f /root/ct-demo-max.before

下次重新练习时,先从保存原上限开始。

04 常用命令速查​

想做什么命令
查看 Pod 状态和所在节点kubectl get pod -n ct-demo -o wide
查看 Pod CPU、内存kubectl top pod -n ct-demo
查看 Service 和 Endpointskubectl get svc,ep -n ct-demo
查节点表满日志dmesg -T | grep -i conntrack
查看当前条目数和上限sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max
临时调整表容量sysctl -w net.netfilter.nf_conntrack_max=262144
查看 TCP 连接记录conntrack -L -p tcp
查看 TIME_WAIT 记录conntrack -L -p tcp 2>/dev/null | grep TIME_WAIT
短时间查看新建连接事件timeout 5 conntrack -E -p tcp -e NEW

表里的命名空间和容量值都是示例,使用时换成自己的实际值。

05 面试回答:遇到过最棘手的 K8S 故障是什么?​

之前有套跑在 K8S 里的业务,Pod 之间调用偶尔超时。我先看了 Pod 状态、CPU、内存和 Service,都没有明显异常。

后来查看节点内核日志,发现 conntrack 表满了,当前条目数也接近上限。我先调大表的容量,恢复业务。

继续排查后发现,应用在频繁创建短连接,旧记录还没有释放,新连接又不断进来。后面优化了连接池和长连接,并把表使用率、连接创建速率和丢包情况加到监控里。

面试时按自己的实际经历讲清楚具体负责的工作。

06 面试追问与回答​

Q1:conntrack 表是做什么的?​

它记录经过 Linux 内核连接跟踪的网络连接,为 Service 转发、NAT 和防火墙等场景提供连接状态信息。

Q2:表满为什么会导致调用超时?​

新连接需要创建跟踪记录时,如果表满了,相关数据包可能被丢弃。请求无法正常建立,就可能出现超时。

Q3:怎么确认是 conntrack 表满?​

看异常节点的内核日志,确认有没有 table full 报错,再看 nf_conntrack_count 和 nf_conntrack_max,结合业务超时时间和监控判断。

Q4:为什么 Pod 正常,业务还会超时?​

Pod 正常运行只说明容器处于运行状态。请求还要经过 Service 和节点网络,节点出现丢包时,业务仍可能超时。

Q5:短连接为什么容易占满表?​

连接关闭后,跟踪记录还会保留一段时间。如果短连接创建太快,旧记录还没过期,新记录又不断增加,表就可能被占满。

Q6:看到大量 TIME_WAIT,就能确定是短连接导致的吗?​

大量 TIME_WAIT 是一条线索。还要结合来源 IP、新建连接速率和应用监控,确认连接来自哪里、创建得有多频繁。

Q7:调大 nf_conntrack_max 后就不用管了吗?​

调大容量可以先缓解问题。后面要排查连接增长的原因,结合业务优化连接使用方式,并持续观察表使用率。

Q8:sysctl -w 调整后,重启还会生效吗?​

它修改的是当前运行值。节点重启后的值由系统配置和集群组件配置决定,持久化前要检查现有配置,特别是 kube-proxy 的 conntrack 设置。

07 conntrack 只读检查脚本​

这个脚本在节点上执行,查看连接跟踪表使用率、近期相关内核日志和 conntrack 统计。它不修改节点配置。

保存脚本:

cat > check-conntrack.sh <<'EOF'
#!/usr/bin/env bash
set -u

count=$(sysctl -n net.netfilter.nf_conntrack_count 2>/dev/null) || {
echo "无法读取 nf_conntrack_count,请检查内核模块和权限。" >&2
exit 1
}
max=$(sysctl -n net.netfilter.nf_conntrack_max 2>/dev/null) || {
echo "无法读取 nf_conntrack_max。" >&2
exit 1
}

if [[ ! "$count" =~ ^[0-9]+$ || ! "$max" =~ ^[0-9]+$ ]]; then
echo "读取到的连接跟踪参数不是数字。" >&2
exit 1
fi

printf '当前条目数:%s\n最大条目数:%s\n' "$count" "$max"
awk -v count="$count" -v max="$max" 'BEGIN {
if (max > 0) printf "使用率:%.1f%%\n", count * 100 / max
else print "使用率:无法计算"
}'

printf '\n最近的 conntrack 内核日志:\n'
if dmesg -T >/dev/null 2>&1; then
dmesg -T | grep -i conntrack | tail -n 5 || true
else
echo "无法读取内核日志,请检查权限。"
fi

printf '\nconntrack 统计:\n'
if command -v conntrack >/dev/null 2>&1; then
conntrack -S 2>/dev/null || echo "读取统计失败,请检查权限。"
else
echo "未安装 conntrack 工具。"
fi
EOF

以 root 执行:

bash check-conntrack.sh

输出中的使用率反映执行时的情况。内核日志要结合故障时间查看;conntrack -S 是各 CPU 的统计信息,可以对比故障期间的变化。

08 生产处理要点与技术参考​

  • 先核对故障节点。 结合客户端和服务端所在节点、业务超时时间以及内核日志定位。
  • 先恢复,再查原因。 按内存和连接规模调整容量,观察业务是否恢复;随后排查连接来源和增长原因。
  • 长期配置按集群现状处理。 确认系统参数和 kube-proxy 的配置来源,避免重启后配置不一致。
  • 持续监控。 关注表使用率、新建连接速率、丢包和业务请求成功率。

技术参考: