rsyslog日志转发异常:tcpdump抓到包,日志为什么还是收不到?
配套视频:《线上排障:rsyslog日志收不到,怎么定位?》
案例环境: <PRIMARY_DB_IP>发送日志,<REPLICA_DB_IP>接收日志,使用UDP 514。
01 工作原理与排查思路
1. rsyslog到底做什么?
rsyslog负责收集日志、按规则处理日志,再把日志保存到本地或转发给其他服务器。
常见的日志来源有两种:
- 系统日志接口: SSH、
logger等把日志提交给系统日志机制,rsyslog通过对应输入模块接收。不同Linux发行版可能还会经过systemd-journald。 - 日志文件: Nginx、业务程序把日志写到文件里。如果要让rsyslog主动读取这些文件,需要配置
imfile和对应路径。
日志进入rsyslog以后,它会按日志类型、级别等规则,决定保存在哪里、发往哪里。
整个流程:
系统或应用产生日志 → rsyslog接收 → 匹配转发规则 → 网络发送 → 接收端防火墙 → 接收程序 → 写入文件或平台。
所以排查日志收不到,就沿着这条线找:哪一段有日志,哪一段开始没日志。
2. UDP 514是怎么回事?
传统rsyslog配置里:
# 单个@:UDP转发,默认514端口
authpriv.info @<REPLICA_DB_IP>
# 两个@:TCP转发,默认514端口
authpriv.info @@<REPLICA_DB_IP>
authpriv.info表示转发authpriv类型中info及更高严重级别的日志。@<REPLICA_DB_IP>是接收端地址。
UDP没有建立连接和接收确认。发送端把报文发出去以后,还要继续检查接收端有没有收到。
ping测的是ICMP,telnet通常测TCP,拿它们代替UDP 514的测试,容易误判。
3. 为什么先抓包?
因为两端抓包能很快分清问题在哪里。
| 抓包结果 | 先查哪里 |
|---|---|
| 88没有抓到测试日志 | 日志产生、rsyslog配置、转发规则、本机发送 |
| 88抓到了,89没抓到 | 路由、交换网络、ACL、防火墙、NAT等中间链路 |
| 88和89都抓到了,89日志文件没有 | 89本机防火墙、端口监听、rsyslog接收与写入规则 |
| 89日志文件有,平台页面查不到 | 日志采集、解析、时间范围、索引和入库 |
本篇先复盘“89抓到包,却被本机iptables拦下”的案例,再覆盖其他常见情况。
02 实机排查SOP:88发送,89接收
步骤一:两端同时开启抓包
先在88上抓发往89的UDP 514报文:
tcpdump -ni any 'udp and dst host <REPLICA_DB_IP> and dst port 514' -A
再在89上抓来自88的UDP 514报文:
tcpdump -ni any 'udp and src host <PRIMARY_DB_IP> and dst port 514' -A
参数很简单:
-i any:监听本机所有可见网卡。-n:直接显示IP和端口,不做名字解析。-A:把报文里的可打印内容显示出来,方便找测试日志。
两边都保持抓包窗口开着,再做下一步。
步骤二:88发送一条测试日志
logger -p authpriv.info 'syslog_test_001'
logger负责产生测试日志,authpriv.info要能匹配88上现有的转发规则。
接着对照两边的tcpdump窗口,找syslog_test_001,同时核对源IP、目标IP和UDP 514端口。
步骤三:对比两端抓包结果
在本次演示里:
- 88抓到了
syslog_test: 本机已经尝试把日志发出去,目标IP和端口也正确。 - 89也抓到了同一条日志: 包已经到89了,中间网络链路暂时可以先放下。
如果89抓不到,先别折腾它的日志解析规则,直接去查网络链路。必要时查看路由和沿途网络设备的ACL、NAT或丢包记录。
抓包建议把完整证据保留下来:
# 88保存发出的报文(另开窗口运行)
tcpdump -ni any -s 0 -w /tmp/syslog-send.pcap \
'udp and dst host <REPLICA_DB_IP> and dst port 514'
# 89保存收到的报文(在89上运行)
tcpdump -ni any -s 0 -w /tmp/syslog-recv.pcap \
'udp and src host <PRIMARY_DB_IP> and dst port 514'
需要看报文时:
tcpdump -nn -A -r /tmp/syslog-recv.pcap
生产抓包要控制时间和范围。
步骤四:89检查监听和日志文件
先看UDP 514有没有程序监听:
ss -ulnp | grep ':514'
正常情况下,可以看到rsyslog或实际接收程序监听514端口。这里还要看监听地址:监听127.0.0.1:514只能接收本机的对应流量;接收外部日志通常需要绑定到对外可达的地址或0.0.0.0:514。
再去实际配置的接收文件里找测试日志。本例假设日志写入/var/log/remote.log:
grep 'syslog_test' /var/log/remote.log
本次结果:89抓到了包,但这个文件里没有日志。 于是继续查89本机。
/var/log/remote.log是本例的配置路径。生产环境中先查看接收程序配置,再确定该查哪个文件或平台。
步骤五:89检查iptables
iptables -L INPUT -n -v --line-numbers
这条命令用来看进入本机的过滤规则和命中计数。
本例发现:只放行了TCP 514,UDP 514没有放行,而且其他规则或默认策略会丢弃这类UDP报文。
想把生效规则看得更完整,可以再执行:
iptables -S
iptables-save -t filter
检查时重点看:
INPUT链的默认策略是ACCEPT还是DROP。- 有没有允许
udp dpt:514的规则。 - 有没有更靠前的
DROP、REJECT,或者跳转到其他自定义链。 - 测试前后相关规则的包计数有没有增加。
只看到一条514/tcp放行规则,还要结合整条规则链判断UDP是否被拦。 如果INPUT默认允许所有流量,UDP也可能正常通过。
步骤六:为什么89抓到包,rsyslog却收不到?
Linux上通常是先被tcpdump看到入站报文,再经过iptables的INPUT过滤,最后交给监听端口的程序。
本次故障的实际路径是:
89网卡收到UDP报文 → tcpdump抓到 → iptables丢弃 → rsyslog收不到。
所以这类场景会出现:抓包里有日志,接收程序里却没有。
步骤七:放行UDP 514,再验证
在89上添加一条限定发送端IP的放行规则:
iptables -I INPUT 1 -p udp -s <PRIMARY_DB_IP> --dport 514 -j ACCEPT
这里用-I INPUT 1,把规则插在最前面,便于实验验证。正式环境需要根据现有规则顺序、访问控制要求决定插入位置,并按系统实际方式持久化。
确认规则已经存在:
iptables -C INPUT -p udp -s <PRIMARY_DB_IP> --dport 514 -j ACCEPT
回到88,换一个测试标识,重新发送:
logger -p authpriv.info 'syslog_test_002'
89检查:
grep 'syslog_test_002' /var/log/remote.log
本次测试能查到syslog_test_002,说明UDP 514放行以后,日志已经正常写入。
这次故障的原因可以明确记录为:接收端iptables规则遗漏UDP 514放行,导致UDP报文到达89后被防火墙丢弃。
03 从这个案例扩展:七类常见故障怎么查
1. 发送端本来就没有产生日志
先弄清业务日志从哪里来。
- SSH认证日志:常见于
/var/log/secure(RHEL系)、/var/log/auth.log(Debian系),也可以通过journal查看。 - Nginx日志:通常先写在
/var/log/nginx/access.log和error.log。rsyslog要收集这类文件,需配置imfile。 - 用户执行的普通Shell命令:默认不会逐条提交给rsyslog。需要额外的审计机制;例如
PROMPT_COMMAND配合logger,但覆盖范围有限。
检查系统日志:
journalctl --since '10 minutes ago' | tail -n 50
为了检查本次测试消息,建议用固定标识:
logger -t syslog_probe -p authpriv.info 'syslog_probe_001'
journalctl -t syslog_probe --since '10 minutes ago'
如果系统没用journald,去对应的本地日志文件查。先确定消息有没有产生,再排查转发。
2. 本地有日志,88却抓不到转发包
优先检查rsyslog是否运行、规则是否命中、目标IP/端口是否正确:
systemctl status rsyslog --no-pager
rsyslogd -N1
grep -RnsE 'omfwd|authpriv|local[0-7]|@192\.168\.0\.89' \
/etc/rsyslog.conf /etc/rsyslog.d/
journalctl -u rsyslog -n 80 --no-pager
ip route get <REPLICA_DB_IP>
重点看:
logger发送的是authpriv.info,转发规则却只匹配其他类型。- 转发目标写错、端口写错,或者误用了
@@(TCP)。 - 规则被更前面的
stop拦住,消息没有走到转发动作。 - rsyslog配置改过但没加载,或配置检查报错。
- 发送端存在本机防火墙或路由问题。
修改配置后,先执行rsyslogd -N1验证语法,再按变更流程重启rsyslog并重新测试。
3. 88发了,89完全抓不到
优先查:目标IP、路由、网络ACL、中间防火墙、NAT和链路丢包。
发送端查看去往89的路由:
ip route get <REPLICA_DB_IP>
也可以在两端核对IP、子网掩码、网关和实际出入接口。存在NAT时,要同时核对转换前后的地址。
发送端抓包已有记录、接收端没有记录,可以把两边相同时间的pcap交给网络人员,对照沿途设备的会话、ACL和丢包计数查。
4. 89抓到了,但没有程序监听UDP 514
先检查:
ss -ulnp | grep ':514'
systemctl status rsyslog --no-pager
如果接收端使用rsyslog收UDP,需要加载imudp,并配置514端口监听。
查看是否已配置:
grep -RnsE 'imudp|UDPServerRun|port="514"' \
/etc/rsyslog.conf /etc/rsyslog.d/
也要核对接收程序监听的IP。服务启动正常,但只监听本地回环地址,外部日志同样进不去。
/
分开检查两件事:
先查包能否通过本机防火墙:
iptables -L INPUT -n -v --line-numbers
iptables -S
再查rsyslog有没有正确处理消息:
rsyslogd -N1
journalctl -u rsyslog -n 80 --no-pager
重点看:
- 接收规则有没有把远程日志写入预期文件。
- 日志被其他规则过滤或执行了
stop。 - 接收来源IP被rsyslog配置的允许列表限制。
- 日志文件目录、权限或SELinux策略阻止写入。
- 磁盘已满、inode耗尽,或者rsyslog动作报错。
磁盘检查:
df -h /var/log
df -i /var/log
这里要分清:端口监听正常,只说明程序已经绑定这个端口;写文件还要经过日志处理规则。
6. 89文件里有日志,但平台页面搜不到
这时候重点查平台的数据处理环节:
- 采集: 平台是否读取了接收文件,采集程序有没有报错。
- 解析: 原始Syslog报文里的时间、主机名、字段格式是否符合解析规则。
- 时间: 发送端时间、时区是否准确;页面查询范围是否正确。
- 入库: 日志有没有写到索引或数据库,有没有落到其他分区。
- 检索: 搜索条件、来源主机、索引名称是否选对。
这类问题要保存原始报文,让接收端拿同一条日志核对解析结果。尤其是传统Syslog时间可能写成Nov 02 10:00:00,也有系统发送带年份和时区的时间戳。到底支持哪种格式,以接收平台的解析要求为准。
如果需要修改格式,优先调整对应转发动作的template,别把只影响本地文件输出的模板配置当成网络转发格式设置。
7. 偶尔收到,偶尔收不到
这种情况重点看UDP丢包、系统负载和收发缓冲区。
netstat -su
ss -u -a -n -m
还可以结合rsyslog运行日志、接收队列和平台处理能力检查是否存在限流、队列堆积或丢弃。
如果日志完整性要求高,考虑改用TCP配合合理队列,或者采用支持确认与重传的RELP,跨不可信网络还要考虑加密传输。发送端和接收端要一起调整协议及端口。
04 rsyslog常用配置参考
1. 发送端:转发认证日志
传统配置(88):
# /etc/rsyslog.conf 或 /etc/rsyslog.d/中的配置文件
authpriv.info @<REPLICA_DB_IP>:514
这条规则匹配authpriv类型中info及更高严重级别的日志,转发到89的UDP 514端口。
新配置也可以使用omfwd明确写出协议:
if ($syslogfacility-text == 'authpriv') then {
action(type="omfwd" target="<REPLICA_DB_IP>" port="514" protocol="udp")
}
这段新配置按authpriv类型筛选,包含该类型的所有级别。两种示例选择一种使用,避免重复上报。 如果要精确控制级别,按实际需求修改筛选条件。
2. 接收端:监听UDP 514并保存日志
在89创建接收规则,例如/etc/rsyslog.d/10-udp-receiver.conf:
module(load="imudp")
ruleset(name="remote-udp") {
action(type="omfile" file="/var/log/remote.log")
}
input(type="imudp" port="514" ruleset="remote-udp")
这是一个独立的远程UDP接收规则:从514端口进来的日志写入/var/log/remote.log,本机其他日志继续按原有配置处理。
如果配置文件中已经加载了imudp,只保留一次模块加载。生产环境还需要按要求限制可信发送源。
检查语法和服务:
rsyslogd -N1
systemctl restart rsyslog
ss -ulnp | grep ':514'
systemctl restart会重新加载配置,生产环境操作前要确认影响和变更窗口。
3. 最容易配错的四个地方
| 配置位置 | 常见问题 | 处理办法 |
|---|---|---|
| 发送端规则 | 日志类型、级别不匹配 | 用logger -p发对应类型的测试消息 |
| 转发目标 | IP、端口、UDP/TCP写错 | 对照omfwd或@、@@检查 |
| 接收端监听 | 未开启imudp或监听地址错误 | 用ss -ulnp确认 |
| 接收端写入 | 没有对应输出规则或文件无权限 | 查规则、rsyslog服务日志和落盘路径 |
05 常用排查命令速查
| 检查内容 | 命令 |
|---|---|
| rsyslog运行状态 | systemctl status rsyslog --no-pager |
| 检查配置语法 | rsyslogd -N1 |
| 检查转发规则 | `grep -RnsE 'omfwd |
| 发送测试日志 | logger -p authpriv.info 'syslog_test_001' |
| 88抓发出的UDP包 | tcpdump -ni any 'udp and dst host <REPLICA_DB_IP> and dst port 514' -A |
| 89抓收到的UDP包 | tcpdump -ni any 'udp and src host <PRIMARY_DB_IP> and dst port 514' -A |
| 查看UDP 514监听 | ss -ulnp | grep ':514' |
| 查接收文件 | grep 'syslog_test_001' /var/log/remote.log |
| iptables规则和计数 | iptables -L INPUT -n -v --line-numbers |
| iptables详细规则 | iptables -S |
| 去往目标的路由 | ip route get <REPLICA_DB_IP> |
| rsyslog服务报错 | journalctl -u rsyslog -n 80 --no-pager |
| 磁盘空间和inode | df -h /var/log; df -i /var/log |
| UDP收发统计 | netstat -su |
06 面试回答:两套系统日志对接,接收端说收不到,你怎么查?
一般先确认日志是通过什么协议、哪个端口发送,比如rsyslog走UDP 514。然后让发送端和接收端同时抓包,用
logger发一条带固定标识的测试日志。如果发送端抓不到,就查日志有没有产生、rsyslog转发规则有没有命中、目标IP和端口有没有写对。如果发送端抓到了、接收端没抓到,就重点查中间的路由和防火墙策略。
如果两边都抓到了,说明报文已经到了接收服务器。接着检查接收程序有没有监听514、iptables有没有拦截,再到接收日志文件里查这条测试日志。
我之前就遇到过一个场景:接收端的tcpdump能抓到UDP报文,但日志文件里一直没有。最后查iptables发现只放行了TCP 514,漏掉UDP 514。补上规则后重新发测试日志,就正常接收了。
如果日志文件里已经有数据,但平台还是查不到,我会继续查解析格式、时间戳、采集程序和入库情况。整个思路就是两端对照,逐段缩小范围。
07 面试追问与回答
Q1:rsyslog和logger分别做什么?
logger负责把测试消息提交到系统日志机制;rsyslog负责收集、筛选、保存或转发。两者是独立的工具。
Q2:rsyslog会自动读取Nginx日志吗?
常规Nginx访问日志是文件,需要给rsyslog配置imfile模块和日志路径。SSH认证日志一般通过系统日志机制传递。
Q3:一个@和两个@@有什么区别?
传统rsyslog转发语法中,@是UDP,@@是TCP。协议和端口还可以用omfwd明确设置。
Q4:为什么两端都抓到了包,应用还是收不到?
报文到达接收端后,还要经过本机防火墙、端口监听和程序处理。本次案例就是被接收端iptables丢弃了。
Q5:tcpdump为什么能抓到iptables拦截的包?
在常见的Linux入站路径上,tcpdump能在报文进入iptables的INPUT过滤前看到它。后面的iptables规则如果丢弃报文,监听程序就收不到。
Q6:为什么只放行TCP 514,UDP还是不通?
TCP和UDP是不同的传输协议。iptables规则会匹配协议类型,514/tcp的放行规则不会自动放行514/udp。
Q7:看到514/tcp放行、没看到514/udp,就一定是防火墙问题吗?
继续看INPUT默认策略、前面的规则和自定义链。如果默认策略是DROP,也没有其他UDP 514放行规则,那么对应的UDP报文就会被拦。
Q8:ss -ulnp能证明程序收到日志吗?
它能确认UDP端口有没有监听,以及哪个进程在监听。要确认日志被处理,还得查接收文件、程序日志或平台记录。
Q9:为什么ping通了,UDP 514还是不通?
ping使用ICMP,日志传输用UDP。网络设备可能放行ICMP,却限制UDP 514。
Q10:89收到了UDP包,但页面查不到日志,下一步查什么?
先查端口监听、本机iptables,再查接收文件。如果文件有日志,就查平台采集、解析时间戳、索引和查询条件。
Q11:怎么避免修复后误把旧日志当成新日志?
每次测试用不同标识,比如syslog_test_001、syslog_test_002。修复后明确找到第二条,才能确认新日志正常到达。
Q12:UDP日志经常丢,怎么改进?
先查网络丢包、接收缓冲区和日志量。如果对完整性要求高,可以改用TCP加队列,或者支持确认与重传的RELP,具体协议要双方一起确认。
08 只读检查脚本、处理清单与参考资料
1. 只读检查脚本
脚本收集本机rsyslog状态、配置检查、监听端口、路由、iptables和日志错误,不会改配置,也不会发测试报文。可以在88和89分别运行。
保存为check_rsyslog.sh:
#!/usr/bin/env bash
set -u
TARGET="${1:-<REPLICA_DB_IP>}"
echo '=== 基本信息 ==='
date
hostname
echo '=== rsyslog服务状态 ==='
systemctl is-active rsyslog 2>/dev/null || true
echo '=== rsyslog配置检查 ==='
if command -v rsyslogd >/dev/null 2>&1; then
rsyslogd -N1 2>&1 | tail -n 15
fi
echo '=== 相关配置 ==='
grep -RnsE 'omfwd|imudp|authpriv|UDPServerRun|@' \
/etc/rsyslog.conf /etc/rsyslog.d/ 2>/dev/null | head -n 80 || true
echo '=== UDP监听 ==='
ss -ulnp 2>/dev/null | grep ':514' || true
echo '=== 到目标地址的路由 ==='
ip route get "$TARGET" 2>/dev/null || true
echo '=== INPUT防火墙规则 ==='
if command -v iptables >/dev/null 2>&1; then
iptables -L INPUT -n -v --line-numbers 2>/dev/null || true
fi
echo '=== rsyslog最近的服务日志 ==='
journalctl -u rsyslog -n 30 --no-pager 2>/dev/null || true
echo '=== 日志分区空间 ==='
df -h /var/log
df -i /var/log
使用方法:
# 在88上,目标填89
bash check_rsyslog.sh <REPLICA_DB_IP>
# 在89上,可以填88作为路由检查目标
bash check_rsyslog.sh <PRIMARY_DB_IP>
查看防火墙和进程信息可能需要root权限。脚本输出含IP和配置内容,保存或分享时注意脱敏。
2. 现场排查清单
- 确认发送端、接收端IP,传输协议和端口。
- 两边同时抓包,发送一条带唯一标识的测试日志。
- 对比两端报文:发送端没有、接收端没有,还是两端都有。
- 接收端有包时,查端口监听、iptables和接收日志文件。
- 接收文件有日志时,继续查采集、解析、时间与入库。
- 修改配置或放行规则后,重新发送新标识的日志验证。
- 保存关键命令、抓包、命中计数和修复前后结果,记录最终原因。