Linux负载飙升,CPU却很闲?从D状态到NFS故障,一次讲清楚
实验环境: Ubuntu 22.04.5 LTS、Linux 5.15、4核CPU、8GB内存、VMware虚拟机。
实测结论: 20个测试进程访问失去响应的NFS共享目录,1分钟Load升至16.67,CPU仍有91%的空闲时间,ps查到21个D状态任务。
01 核心原理与排查思路
1. Load Average到底是什么?
**Load Average(系统平均负载)**统计一段时间内,有多少任务正在运行、等CPU运行,或者卡在不可中断的内核等待中。
Linux主要把两类任务算进Load:
- R状态: 正在CPU上运行,或者已经准备好、正在等CPU运行。
- D状态: 进入不可中断睡眠,常见于等待磁盘IO、NFS等内核操作。
注意这里的“任务”也包括线程。一个程序开了很多线程,这些线程也可能分别影响负载。
执行:
uptime
示例:
load average: 16.67, 5.85, 2.13
三个数字分别代表最近1分钟、5分钟、15分钟的平均负载。数字越靠前,反映的变化越快。
这台机器只有4个CPU核心。1分钟Load达到16.67,说明系统里积累了大量需要CPU或等待内核操作的任务。接下来要分清它们是R状态还是D状态。
2. CPU使用率和Load有什么区别?
CPU使用率: CPU有多少时间正在干活。
Load: 有多少任务正在运行、排队等CPU,或者卡在D状态。
举个例子:
- 20个任务疯狂计算,CPU忙,Load也可能很高。
- 20个任务访问无响应的NFS存储,任务被卡住,CPU很空闲,Load照样升高。
所以排查高Load,要先看CPU使用率,再看任务状态。
3. D状态为什么会把Load顶上去?
一个进程发起文件读取,内核需要等待磁盘或网络存储返回数据。
如果请求长时间没有返回,进程就可能进入D状态。进程不消耗多少CPU,但Linux仍把它计入Load。
这次实验的过程很简单:
读取NFS文件 → NFS通信被拦截 → RPC请求持续等待 → 20个cat进程进入D状态 → Load升高 → CPU继续空闲。
4. 排查顺序
top看现象 → vmstat看运行与阻塞情况 → ps找D状态任务和等待位置 → 按等待位置排查NFS或磁盘。
重点看下面这些信息:
| 工具 | 看什么 | 用来判断什么 |
|---|---|---|
top | load average、%Cpu(s)里的id | 负载高不高,CPU忙不忙 |
vmstat 1 | r、b、id、wa | 是否有CPU运行队列或IO阻塞迹象 |
ps | STAT、WCHAN、COMMAND | 哪些任务处于D状态,卡在什么内核等待位置 |
findmnt、nfsstat | NFS挂载源与参数 | 任务访问的是哪个网络存储 |
iostat | await、r/s、w/s、%util | 本地块设备读写是否缓慢或繁忙 |
02 生产环境故障排查SOP
步骤一:用top确认高Load、低CPU
top
这次实机输出:
top - 12:27:46 ... load average: 16.67, 5.85, 2.13
%Cpu(s): 2.2 us, 6.7 sy, 0.0 ni, 91.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
重点看两个位置:
load average:1分钟负载已经16.67。id:CPU空闲率91%,说明CPU还有大量空闲时间。
us是用户态CPU时间,sy是内核态CPU时间,wa是CPU处于IO等待统计状态的时间,st是虚拟机被宿主机占用的CPU时间。
步骤二:用vmstat看r和b
vmstat 1
1表示每隔1秒刷新一次,按Ctrl+C结束。
本次实测:
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 0 3315820 232852 4009668 0 0 0 0 248 221 0 0 100 0 0
0 0 0 3315820 232852 4009668 0 0 0 0 232 224 0 0 100 0 0
这里先记住四个字段:
r:正在运行或者等待CPU的任务数量。b:等待IO完成的阻塞任务数量。id:CPU空闲时间比例。wa:CPU的IO等待时间比例。
本次r=0、b=0,但ps能找到21个D状态任务。 原因是两项统计的口径不同:vmstat的b读取内核的IO阻塞计数,这批NFS RPC等待任务没有体现在b里;ps读取到的进程状态仍然是D。
步骤三:用ps找D状态任务
完整命令:
ps -eo pid,stat,wchan:24,comm
这条命令会列出所有任务。要快速定位问题,可以只筛选D状态:
ps -eo pid,stat,wchan:24,comm | awk 'NR==1 || $2 ~ /^D/'
实机输出节选:
PID STAT WCHAN COMMAND
910585 D rpc_wait_bit_killable cat
910586 D rpc_wait_bit_killable cat
910587 D rpc_wait_bit_killable cat
910588 D rpc_wait_bit_killable cat
...
910604 D rpc_wait_bit_killable cat
910611 D rpc_wait_bit_killable 127.0.0.1-manag
四列分别表示:
| 字段 | 含义 |
|---|---|
PID | 进程编号 |
STAT | 进程状态,D表示不可中断睡眠 |
WCHAN | 任务正在等待的内核函数或等待位置 |
COMMAND | 进程或任务名称 |
本次20个cat进程全部进入D状态,另外还出现一个NFS相关的等待任务,总数21个。
rpc_wait_bit_killable可以拆开理解:
RPC:远程过程调用,程序向另一端请求执行操作并等待结果。wait:等待。killable:内核等待函数名称中的一部分,表示使用可响应特定终止信号的等待机制。
这次它出现在NFS文件读取过程中,所以接下来沿着NFS链路查。
步骤四:检查NFS挂载、网络和存储服务
先找NFS挂载点:
findmnt -t nfs,nfs4
本次实验挂载的是:
/mnt/nfs-lab 127.0.0.1:/srv/nfs-lab nfs4
再看挂载参数:
nfsstat -m
实机关键参数:
/mnt/nfs-lab from 127.0.0.1:/srv/nfs-lab
Flags: ... vers=4.2,hard,proto=tcp,timeo=50,retrans=2,addr=127.0.0.1
这些参数的意思:
vers=4.2:使用NFS 4.2协议。proto=tcp:通过TCP通信。hard:请求失败后持续重试,等待服务端恢复。timeo=50:NFS请求的基础超时值为5秒,单位是十分之一秒。retrans=2:达到指定重传次数后进入后续恢复处理;hard挂载仍会继续尝试完成请求。
这次实验是在本机拦截NFS端口2049,模拟存储服务无法响应。 所以我们直接查看实验防火墙规则:
iptables -S OUTPUT | grep nfs-d-lab
故障期间输出:
-A OUTPUT -d 127.0.0.1/32 -p tcp -m tcp --dport 2049 -m comment --comment nfs-d-lab -j DROP
这就找到原因了:NFS客户端发往2049端口的请求被DROP规则丢弃,进程一直等RPC请求返回。
生产环境还要顺着这一条链路查:
- 用
findmnt找到真正的NFS服务器地址和挂载路径。 - 检查客户端到服务器的网络路由、防火墙和2049端口。
- 检查NFS服务器服务状态、资源使用情况和共享目录。
- 结合客户端与服务端抓包,定位请求卡在哪一段。
查看NFS端口连接:
ss -tn | grep ':2049'
在有tcpdump的机器上抓包:
tcpdump -ni any 'tcp port 2049'
抓包要关注:请求有没有发出、对端有没有回复、TCP是否持续重传。
现场提醒: 已经卡住的NFS挂载点,执行ls、cat、df等命令也可能卡住。先查挂载信息、网络和服务端状态。
步骤五:如果等待位置指向本地磁盘IO
执行:
iostat -xz 1 3
重点看:
| 字段 | 说明 | 怎么判断 |
|---|---|---|
r/s、w/s | 每秒读写请求次数 | 读写请求是否突然增加 |
r_await、w_await | 读写请求平均耗时,单位毫秒 | 数值持续上升,说明读写响应变慢 |
aqu-sz | 平均排队的IO请求数量 | 持续较高说明请求积压 |
%util | 设备处理IO的忙碌时间比例 | 对机械盘等串行设备有参考价值,需要结合延迟一起看 |
再查内核有没有磁盘错误:
journalctl -k --no-pager | grep -Ei 'I/O error|blk_update_request|reset|timeout|ext4|xfs' | tail -40
iostat查读写速度、排队和延迟;磁盘坏道、硬件错误要结合内核日志、SMART或存储设备告警查。
本次演示的是NFS网络请求阻塞,本地磁盘指标可能很正常。这部分用于说明生产上遇到其他D状态等待点时的排查方法。
03 实机故障复现与恢复
1. 实验环境
| 项目 | 配置 |
|---|---|
| 操作系统 | Ubuntu 22.04.5 LTS |
| 内核版本 | 5.15.0-198-generic |
| CPU/内存 | 4核、约8GB |
| 虚拟化 | VMware |
| NFS | 本机同时充当服务端和客户端,NFS 4.2 |
| 共享目录 | 服务端/srv/nfs-lab |
| 挂载目录 | 客户端/mnt/nfs-lab |
| 故障方式 | 用iptables丢弃本机发往TCP 2049的NFS请求 |
在独立的实验虚拟机里操作,先做好快照。下面的故障不会自动恢复,需要手动删除规则。
2. 安装软件
apt update && apt install -y nfs-kernel-server nfs-common sysstat
nfs-kernel-server:NFS服务端。nfs-common:NFS客户端工具。sysstat:提供iostat等性能分析命令。
3. 创建NFS共享
mkdir -p /srv/nfs-lab /etc/exports.d
echo 'NFS test' > /srv/nfs-lab/test.txt
echo 'NFS LAB' > /srv/nfs-lab/probe-test-001
printf '%s\n' '/srv/nfs-lab 127.0.0.1(rw,sync,no_subtree_check,insecure)' > /etc/exports.d/nfs-lab.exports
systemctl start nfs-server
exportfs -ra
exportfs -v
配置只允许本机地址127.0.0.1访问共享目录。
如果机器已有NFS服务,先检查现有配置再操作,避免影响别的共享。
4. 挂载并验证正常访问
mkdir -p /mnt/nfs-lab
mount -t nfs -o vers=4,hard,timeo=50,retrans=2 127.0.0.1:/srv/nfs-lab /mnt/nfs-lab
findmnt /mnt/nfs-lab
cat /mnt/nfs-lab/test.txt
正常输出:
NFS test
这一步完成后,先确认正常读取,再开始拦截通信。
5. 制造故障:20个进程访问无响应NFS
建议使用两个SSH窗口:一个执行故障模拟与恢复命令,另一个观察系统指标。
执行:
iptables -I OUTPUT 1 -d 127.0.0.1 -p tcp --dport 2049 \
-m comment --comment nfs-d-lab -j DROP
for i in $(seq 1 20); do
cat /mnt/nfs-lab/probe-test-001 >/dev/null &
done
这20个cat进程会尝试读取NFS文件。因为NFS通信被拦截,请求持续等待,进程进入D状态。
不要重复执行添加规则的命令。 重复添加会产生多条DROP规则,恢复时要逐条删除。
6. 实验结果
故障期间:
load average: 16.67, 5.85, 2.13
%Cpu(s): 2.2 us, 6.7 sy, 91.0 id, 0.0 wa
D状态任务:
PID STAT WCHAN COMMAND
910507 D rpc_wait_bit_killable cat
910508 D rpc_wait_bit_killable cat
...
910526 D rpc_wait_bit_killable cat
910528 D rpc_wait_bit_killable 127.0.0.1-manag
统计结果:
| 指标 | 实际结果 |
|---|---|
| 1分钟Load | 16.67 |
| CPU空闲率 | 91% |
| D状态任务数 | 21 |
| 内核等待点 | rpc_wait_bit_killable |
vmstat的r、b | 0、0 |
| 故障根因 | TCP 2049被实验防火墙规则丢弃,NFS请求持续等待 |
这组数据直接证明:CPU很空闲,系统Load照样能被大量D状态任务推高。
7. 手动恢复
实验结束后,执行:
iptables -D OUTPUT -d 127.0.0.1 -p tcp --dport 2049 \
-m comment --comment nfs-d-lab -j DROP
然后检查:
iptables -S OUTPUT | grep nfs-d-lab || echo '实验规则已删除'
ps -eo pid,stat,comm | awk '$2 ~ /^D/'
cat /mnt/nfs-lab/test.txt
uptime
实际恢复结果:实验规则消失,20个cat进程陆续结束,D状态任务清空,NFS重新返回NFS test。
Load是平均值,故障解除后会逐步下降,不会立刻变成0。
恢复时先删DROP规则,再访问NFS目录。 遇到多条重复实验规则,需要全部删完。
04 常用排查命令速查表
| 检查内容 | 命令 |
|---|---|
| 当前Load与运行时长 | uptime |
| CPU、Load和进程状态 | top |
| CPU队列与IO阻塞统计 | vmstat 1 |
| 全部进程状态与等待位置 | ps -eo pid,stat,wchan:24,comm |
| 只看D状态任务 | ps -eo pid,stat,wchan:24,comm | awk 'NR==1 || $2 ~ /^D/' |
| D状态任务数量 | ps -eo stat= | awk '$1 ~ /^D/ {n++} END {print n+0}' |
| 所有NFS挂载 | findmnt -t nfs,nfs4 |
| 查看指定NFS挂载 | findmnt /mnt/nfs-lab |
| NFS挂载详细参数 | nfsstat -m |
| TCP 2049连接 | ss -tn | grep ':2049' |
| 抓取NFS网络包 | tcpdump -ni any 'tcp port 2049' |
| 磁盘IO性能 | iostat -xz 1 3 |
| 最近内核磁盘错误 | journalctl -k --no-pager | grep -Ei 'I/O error|timeout|reset' | tail -40 |
| 检查本次实验规则 | iptables -S OUTPUT | grep nfs-d-lab |
| 实验后检查Load | uptime |
05 面试回答:Linux负载很高,但CPU使用率很低,怎么排查?
遇到Linux系统负载很高,但CPU使用率很低的情况,我会先用
top确认Load和CPU空闲率。因为Linux的Load会统计R状态和D状态任务。R表示正在运行或等待CPU,D表示进程在等待磁盘IO、网络存储等内核操作完成。
接着用
vmstat 1查看r和b,判断CPU排队和IO阻塞情况。然后用
ps -eo pid,stat,wchan:24,comm找到D状态进程,通过WCHAN查看具体卡在内核的哪个位置。如果卡在NFS相关的RPC等待上,就检查NFS挂载、存储服务器和网络连通性。
如果卡在本地磁盘IO上,就用
iostat检查磁盘读写延迟、队列和利用率,再结合系统日志定位原因。找到问题后,恢复对应的存储或网络服务,最后重新检查Load和进程状态,确认故障解除。
回答重点: 先解释原理,再说排查顺序。
06 面试追问与回答
Q1:Load Average的三个数字分别代表什么?
分别代表系统最近1分钟、5分钟和15分钟的平均负载。
Linux计算负载时,会统计正在运行、等待CPU运行以及处于不可中断睡眠状态的任务。
第一个数字反映近期变化,第二个看短期趋势,第三个看较长时间的负载情况。
Q2:为什么CPU使用率很低,Load却很高?
因为Linux的Load不仅统计正在使用CPU的任务,还会把D状态任务算进去。
比如大量进程正在等待磁盘IO或者NFS网络存储响应,这些进程虽然不占用CPU,但仍然会被计入系统负载。
所以排查高Load、低CPU的问题时,我会重点检查是否存在大量D状态进程。
Q3:Linux进程的R状态和D状态有什么区别?
R表示进程正在运行,或者已经准备好运行,正在等待CPU调度。
D表示进程处于不可中断睡眠状态,通常是在等待磁盘IO、网络存储等内核操作完成。
两种状态都会被Linux计入系统负载。
Q4:vmstat中的r、b、wa分别是什么意思?
r表示正在运行或者等待CPU的任务数量。
b表示等待IO完成的阻塞任务数量。
wa表示CPU处于IO等待状态的时间比例。
排查时,我会结合这三个指标判断CPU排队和IO等待情况,再通过ps查看具体进程状态。
Q5:D状态进程能直接用kill -9杀掉吗?
要看进程卡在什么内核操作上。
如果进程一直在等待底层IO,终止信号可能需要等内核操作恢复后才能生效。
生产环境中,我会先通过WCHAN查看进程的内核等待位置,找到对应的磁盘、存储或者网络问题。
恢复底层服务后,再检查进程是否正常退出。
07 Linux高Load只读检查脚本
脚本只读取系统负载、任务状态、NFS挂载和磁盘IO信息,不会添加防火墙规则,也不会制造故障。
保存为check_high_load.sh:
#!/usr/bin/env bash
printf '\n===== 系统与Load =====\n'
uptime
printf '\n===== CPU与进程概况 =====\n'
top -bn1 | head -n 5
printf '\n===== vmstat(每秒一次,共3次) =====\n'
vmstat 1 3
printf '\n===== D状态任务 =====\n'
ps -eo pid,stat,wchan:24,comm | awk 'NR==1 || $2 ~ /^D/'
printf '\n===== D状态任务数量 =====\n'
ps -eo stat= | awk '$1 ~ /^D/ {n++} END {print n+0}'
printf '\n===== NFS挂载点 =====\n'
findmnt -t nfs,nfs4 || true
printf '\n===== NFS挂载参数 =====\n'
if command -v nfsstat >/dev/null 2>&1; then
nfsstat -m
fi
printf '\n===== 磁盘IO =====\n'
if command -v iostat >/dev/null 2>&1; then
iostat -xz 1 2
fi
执行:
bash check_high_load.sh
这个脚本用于快速收集系统负载、进程状态、NFS挂载和磁盘IO信息,便于定位故障。
08 生产处理要点与技术参考
1. 线上处理顺序
- 确认现象:
top看Load、CPU空闲率和故障发生时间。 - 找到任务:
ps找D状态任务,记录PID、进程名和WCHAN。 - 判断链路: NFS查挂载与网络;磁盘查IO性能、内核日志和存储告警。
- 定位根因: 把进程等待位置、服务日志、网络包和存储端状态对起来。
- 恢复服务: 修复网络或存储故障,观察阻塞进程退出。
- 复查指标: 确认业务请求恢复,CPU、D状态数量和Load逐步回落。
2. 本次实验的故障证据链
top: 1分钟Load为16.67,CPU空闲率为91%。vmstat 1:r=0、b=0,CPU基本空闲;继续检查进程状态。ps: 查到21个D状态任务,等待位置为rpc_wait_bit_killable。findmnt与nfsstat -m: 发现相关进程访问的是NFS共享目录,使用TCP 2049通信。iptables: 发现发往NFS端口的请求被DROP规则丢弃;移除规则后,读取恢复正常,阻塞进程退出。
3. 故障处理后的验证
恢复通信后,确认以下事项:
- NFS挂载目录可以正常读取。
- 原先处于D状态的测试进程已经退出。
- 防火墙中没有残留实验DROP规则。
- Load Average随时间逐步下降,业务访问恢复正常。
4. 技术参考资料
- Linux
/proc/loadavg手册:https://man7.org/linux/man-pages/man5/proc_loadavg.5.html - Linux
vmstat手册:https://man7.org/linux/man-pages/man8/vmstat.8.html - Linux
ps手册:https://man7.org/linux/man-pages/man1/ps.1.html - Linux
iostat手册:https://man7.org/linux/man-pages/man1/iostat.1.html - Linux
nfs挂载手册:https://man7.org/linux/man-pages/man5/nfs.5.html - Linux
nfsstat手册:https://man7.org/linux/man-pages/man8/nfsstat.8.html - Linux内核
/proc文档:https://kernel.org/doc/html/v5.16/filesystems/proc.html
- 先确认目标主机、实例、命名空间、挂载点和时间窗口;示例中的主机、IP、文件名、PID、偏移量均为占位符。
- 先采集并保存现场,再执行会停止服务、删除数据、终止进程、卸载或修改内核参数的命令。涉及生产数据时先确认备份/快照可恢复。
- 每一步执行后按“预期输出”验证;异常时停止继续操作,保留命令输出和日志,按文中的回滚路径恢复。