跳到主要内容

rsyslog日志转发异常:tcpdump抓到包,日志为什么还是收不到?

配套视频:《线上排障:rsyslog日志收不到,怎么定位?》
案例环境: <PRIMARY_DB_IP>发送日志,<REPLICA_DB_IP>接收日志,使用UDP 514。

01 工作原理与排查思路​

1. rsyslog到底做什么?​

rsyslog负责收集日志、按规则处理日志,再把日志保存到本地或转发给其他服务器。

常见的日志来源有两种:

  • 系统日志接口: SSH、logger等把日志提交给系统日志机制,rsyslog通过对应输入模块接收。不同Linux发行版可能还会经过systemd-journald。
  • 日志文件: Nginx、业务程序把日志写到文件里。如果要让rsyslog主动读取这些文件,需要配置imfile和对应路径。

日志进入rsyslog以后,它会按日志类型、级别等规则,决定保存在哪里、发往哪里。

整个流程:

系统或应用产生日志 → rsyslog接收 → 匹配转发规则 → 网络发送 → 接收端防火墙 → 接收程序 → 写入文件或平台。

所以排查日志收不到,就沿着这条线找:哪一段有日志,哪一段开始没日志。

2. UDP 514是怎么回事?​

传统rsyslog配置里:

# 单个@:UDP转发,默认514端口
authpriv.info @<REPLICA_DB_IP>

# 两个@:TCP转发,默认514端口
authpriv.info @@<REPLICA_DB_IP>

authpriv.info表示转发authpriv类型中info及更高严重级别的日志。@<REPLICA_DB_IP>是接收端地址。

UDP没有建立连接和接收确认。发送端把报文发出去以后,还要继续检查接收端有没有收到。

ping测的是ICMP,telnet通常测TCP,拿它们代替UDP 514的测试,容易误判。

3. 为什么先抓包?​

因为两端抓包能很快分清问题在哪里。

抓包结果先查哪里
88没有抓到测试日志日志产生、rsyslog配置、转发规则、本机发送
88抓到了,89没抓到路由、交换网络、ACL、防火墙、NAT等中间链路
88和89都抓到了,89日志文件没有89本机防火墙、端口监听、rsyslog接收与写入规则
89日志文件有,平台页面查不到日志采集、解析、时间范围、索引和入库

本篇先复盘“89抓到包,却被本机iptables拦下”的案例,再覆盖其他常见情况。


02 实机排查SOP:88发送,89接收​

步骤一:两端同时开启抓包​

先在88上抓发往89的UDP 514报文:

tcpdump -ni any 'udp and dst host <REPLICA_DB_IP> and dst port 514' -A

再在89上抓来自88的UDP 514报文:

tcpdump -ni any 'udp and src host <PRIMARY_DB_IP> and dst port 514' -A

参数很简单:

  • -i any:监听本机所有可见网卡。
  • -n:直接显示IP和端口,不做名字解析。
  • -A:把报文里的可打印内容显示出来,方便找测试日志。

两边都保持抓包窗口开着,再做下一步。

步骤二:88发送一条测试日志​

logger -p authpriv.info 'syslog_test_001'

logger负责产生测试日志,authpriv.info要能匹配88上现有的转发规则。

接着对照两边的tcpdump窗口,找syslog_test_001,同时核对源IP、目标IP和UDP 514端口。

步骤三:对比两端抓包结果​

在本次演示里:

  • 88抓到了syslog_test: 本机已经尝试把日志发出去,目标IP和端口也正确。
  • 89也抓到了同一条日志: 包已经到89了,中间网络链路暂时可以先放下。

如果89抓不到,先别折腾它的日志解析规则,直接去查网络链路。必要时查看路由和沿途网络设备的ACL、NAT或丢包记录。

抓包建议把完整证据保留下来:

# 88保存发出的报文(另开窗口运行)
tcpdump -ni any -s 0 -w /tmp/syslog-send.pcap \
'udp and dst host <REPLICA_DB_IP> and dst port 514'

# 89保存收到的报文(在89上运行)
tcpdump -ni any -s 0 -w /tmp/syslog-recv.pcap \
'udp and src host <PRIMARY_DB_IP> and dst port 514'

需要看报文时:

tcpdump -nn -A -r /tmp/syslog-recv.pcap

生产抓包要控制时间和范围。

步骤四:89检查监听和日志文件​

先看UDP 514有没有程序监听:

ss -ulnp | grep ':514'

正常情况下,可以看到rsyslog或实际接收程序监听514端口。这里还要看监听地址:监听127.0.0.1:514只能接收本机的对应流量;接收外部日志通常需要绑定到对外可达的地址或0.0.0.0:514。

再去实际配置的接收文件里找测试日志。本例假设日志写入/var/log/remote.log:

grep 'syslog_test' /var/log/remote.log

本次结果:89抓到了包,但这个文件里没有日志。 于是继续查89本机。

/var/log/remote.log是本例的配置路径。生产环境中先查看接收程序配置,再确定该查哪个文件或平台。

步骤五:89检查iptables​

iptables -L INPUT -n -v --line-numbers

这条命令用来看进入本机的过滤规则和命中计数。

本例发现:只放行了TCP 514,UDP 514没有放行,而且其他规则或默认策略会丢弃这类UDP报文。

想把生效规则看得更完整,可以再执行:

iptables -S
iptables-save -t filter

检查时重点看:

  1. INPUT链的默认策略是ACCEPT还是DROP。
  2. 有没有允许udp dpt:514的规则。
  3. 有没有更靠前的DROP、REJECT,或者跳转到其他自定义链。
  4. 测试前后相关规则的包计数有没有增加。

只看到一条514/tcp放行规则,还要结合整条规则链判断UDP是否被拦。 如果INPUT默认允许所有流量,UDP也可能正常通过。

步骤六:为什么89抓到包,rsyslog却收不到?​

Linux上通常是先被tcpdump看到入站报文,再经过iptables的INPUT过滤,最后交给监听端口的程序。

本次故障的实际路径是:

89网卡收到UDP报文 → tcpdump抓到 → iptables丢弃 → rsyslog收不到。

所以这类场景会出现:抓包里有日志,接收程序里却没有。

步骤七:放行UDP 514,再验证​

在89上添加一条限定发送端IP的放行规则:

iptables -I INPUT 1 -p udp -s <PRIMARY_DB_IP> --dport 514 -j ACCEPT

这里用-I INPUT 1,把规则插在最前面,便于实验验证。正式环境需要根据现有规则顺序、访问控制要求决定插入位置,并按系统实际方式持久化。

确认规则已经存在:

iptables -C INPUT -p udp -s <PRIMARY_DB_IP> --dport 514 -j ACCEPT

回到88,换一个测试标识,重新发送:

logger -p authpriv.info 'syslog_test_002'

89检查:

grep 'syslog_test_002' /var/log/remote.log

本次测试能查到syslog_test_002,说明UDP 514放行以后,日志已经正常写入。

这次故障的原因可以明确记录为:接收端iptables规则遗漏UDP 514放行,导致UDP报文到达89后被防火墙丢弃。


03 从这个案例扩展:七类常见故障怎么查​

1. 发送端本来就没有产生日志​

先弄清业务日志从哪里来。

  • SSH认证日志:常见于/var/log/secure(RHEL系)、/var/log/auth.log(Debian系),也可以通过journal查看。
  • Nginx日志:通常先写在/var/log/nginx/access.log和error.log。rsyslog要收集这类文件,需配置imfile。
  • 用户执行的普通Shell命令:默认不会逐条提交给rsyslog。需要额外的审计机制;例如PROMPT_COMMAND配合logger,但覆盖范围有限。

检查系统日志:

journalctl --since '10 minutes ago' | tail -n 50

为了检查本次测试消息,建议用固定标识:

logger -t syslog_probe -p authpriv.info 'syslog_probe_001'
journalctl -t syslog_probe --since '10 minutes ago'

如果系统没用journald,去对应的本地日志文件查。先确定消息有没有产生,再排查转发。

2. 本地有日志,88却抓不到转发包​

优先检查rsyslog是否运行、规则是否命中、目标IP/端口是否正确:

systemctl status rsyslog --no-pager
rsyslogd -N1
grep -RnsE 'omfwd|authpriv|local[0-7]|@192\.168\.0\.89' \
/etc/rsyslog.conf /etc/rsyslog.d/
journalctl -u rsyslog -n 80 --no-pager
ip route get <REPLICA_DB_IP>

重点看:

  • logger发送的是authpriv.info,转发规则却只匹配其他类型。
  • 转发目标写错、端口写错,或者误用了@@(TCP)。
  • 规则被更前面的stop拦住,消息没有走到转发动作。
  • rsyslog配置改过但没加载,或配置检查报错。
  • 发送端存在本机防火墙或路由问题。

修改配置后,先执行rsyslogd -N1验证语法,再按变更流程重启rsyslog并重新测试。

3. 88发了,89完全抓不到​

优先查:目标IP、路由、网络ACL、中间防火墙、NAT和链路丢包。

发送端查看去往89的路由:

ip route get <REPLICA_DB_IP>

也可以在两端核对IP、子网掩码、网关和实际出入接口。存在NAT时,要同时核对转换前后的地址。

发送端抓包已有记录、接收端没有记录,可以把两边相同时间的pcap交给网络人员,对照沿途设备的会话、ACL和丢包计数查。

4. 89抓到了,但没有程序监听UDP 514​

先检查:

ss -ulnp | grep ':514'
systemctl status rsyslog --no-pager

如果接收端使用rsyslog收UDP,需要加载imudp,并配置514端口监听。

查看是否已配置:

grep -RnsE 'imudp|UDPServerRun|port="514"' \
/etc/rsyslog.conf /etc/rsyslog.d/

也要核对接收程序监听的IP。服务启动正常,但只监听本地回环地址,外部日志同样进不去。

/

分开检查两件事:

先查包能否通过本机防火墙:

iptables -L INPUT -n -v --line-numbers
iptables -S

再查rsyslog有没有正确处理消息:

rsyslogd -N1
journalctl -u rsyslog -n 80 --no-pager

重点看:

  • 接收规则有没有把远程日志写入预期文件。
  • 日志被其他规则过滤或执行了stop。
  • 接收来源IP被rsyslog配置的允许列表限制。
  • 日志文件目录、权限或SELinux策略阻止写入。
  • 磁盘已满、inode耗尽,或者rsyslog动作报错。

磁盘检查:

df -h /var/log
df -i /var/log

这里要分清:端口监听正常,只说明程序已经绑定这个端口;写文件还要经过日志处理规则。

6. 89文件里有日志,但平台页面搜不到​

这时候重点查平台的数据处理环节:

  • 采集: 平台是否读取了接收文件,采集程序有没有报错。
  • 解析: 原始Syslog报文里的时间、主机名、字段格式是否符合解析规则。
  • 时间: 发送端时间、时区是否准确;页面查询范围是否正确。
  • 入库: 日志有没有写到索引或数据库,有没有落到其他分区。
  • 检索: 搜索条件、来源主机、索引名称是否选对。

这类问题要保存原始报文,让接收端拿同一条日志核对解析结果。尤其是传统Syslog时间可能写成Nov 02 10:00:00,也有系统发送带年份和时区的时间戳。到底支持哪种格式,以接收平台的解析要求为准。

如果需要修改格式,优先调整对应转发动作的template,别把只影响本地文件输出的模板配置当成网络转发格式设置。

7. 偶尔收到,偶尔收不到​

这种情况重点看UDP丢包、系统负载和收发缓冲区。

netstat -su
ss -u -a -n -m

还可以结合rsyslog运行日志、接收队列和平台处理能力检查是否存在限流、队列堆积或丢弃。

如果日志完整性要求高,考虑改用TCP配合合理队列,或者采用支持确认与重传的RELP,跨不可信网络还要考虑加密传输。发送端和接收端要一起调整协议及端口。


04 rsyslog常用配置参考​

1. 发送端:转发认证日志​

传统配置(88):

# /etc/rsyslog.conf 或 /etc/rsyslog.d/中的配置文件
authpriv.info @<REPLICA_DB_IP>:514

这条规则匹配authpriv类型中info及更高严重级别的日志,转发到89的UDP 514端口。

新配置也可以使用omfwd明确写出协议:

if ($syslogfacility-text == 'authpriv') then {
action(type="omfwd" target="<REPLICA_DB_IP>" port="514" protocol="udp")
}

这段新配置按authpriv类型筛选,包含该类型的所有级别。两种示例选择一种使用,避免重复上报。 如果要精确控制级别,按实际需求修改筛选条件。

2. 接收端:监听UDP 514并保存日志​

在89创建接收规则,例如/etc/rsyslog.d/10-udp-receiver.conf:

module(load="imudp")

ruleset(name="remote-udp") {
action(type="omfile" file="/var/log/remote.log")
}

input(type="imudp" port="514" ruleset="remote-udp")

这是一个独立的远程UDP接收规则:从514端口进来的日志写入/var/log/remote.log,本机其他日志继续按原有配置处理。

如果配置文件中已经加载了imudp,只保留一次模块加载。生产环境还需要按要求限制可信发送源。

检查语法和服务:

rsyslogd -N1
systemctl restart rsyslog
ss -ulnp | grep ':514'

systemctl restart会重新加载配置,生产环境操作前要确认影响和变更窗口。

3. 最容易配错的四个地方​

配置位置常见问题处理办法
发送端规则日志类型、级别不匹配用logger -p发对应类型的测试消息
转发目标IP、端口、UDP/TCP写错对照omfwd或@、@@检查
接收端监听未开启imudp或监听地址错误用ss -ulnp确认
接收端写入没有对应输出规则或文件无权限查规则、rsyslog服务日志和落盘路径

05 常用排查命令速查​

检查内容命令
rsyslog运行状态systemctl status rsyslog --no-pager
检查配置语法rsyslogd -N1
检查转发规则`grep -RnsE 'omfwd
发送测试日志logger -p authpriv.info 'syslog_test_001'
88抓发出的UDP包tcpdump -ni any 'udp and dst host <REPLICA_DB_IP> and dst port 514' -A
89抓收到的UDP包tcpdump -ni any 'udp and src host <PRIMARY_DB_IP> and dst port 514' -A
查看UDP 514监听ss -ulnp | grep ':514'
查接收文件grep 'syslog_test_001' /var/log/remote.log
iptables规则和计数iptables -L INPUT -n -v --line-numbers
iptables详细规则iptables -S
去往目标的路由ip route get <REPLICA_DB_IP>
rsyslog服务报错journalctl -u rsyslog -n 80 --no-pager
磁盘空间和inodedf -h /var/log; df -i /var/log
UDP收发统计netstat -su

06 面试回答:两套系统日志对接,接收端说收不到,你怎么查?​

一般先确认日志是通过什么协议、哪个端口发送,比如rsyslog走UDP 514。然后让发送端和接收端同时抓包,用logger发一条带固定标识的测试日志。

如果发送端抓不到,就查日志有没有产生、rsyslog转发规则有没有命中、目标IP和端口有没有写对。如果发送端抓到了、接收端没抓到,就重点查中间的路由和防火墙策略。

如果两边都抓到了,说明报文已经到了接收服务器。接着检查接收程序有没有监听514、iptables有没有拦截,再到接收日志文件里查这条测试日志。

我之前就遇到过一个场景:接收端的tcpdump能抓到UDP报文,但日志文件里一直没有。最后查iptables发现只放行了TCP 514,漏掉UDP 514。补上规则后重新发测试日志,就正常接收了。

如果日志文件里已经有数据,但平台还是查不到,我会继续查解析格式、时间戳、采集程序和入库情况。整个思路就是两端对照,逐段缩小范围。


07 面试追问与回答​

Q1:rsyslog和logger分别做什么?​

logger负责把测试消息提交到系统日志机制;rsyslog负责收集、筛选、保存或转发。两者是独立的工具。

Q2:rsyslog会自动读取Nginx日志吗?​

常规Nginx访问日志是文件,需要给rsyslog配置imfile模块和日志路径。SSH认证日志一般通过系统日志机制传递。

Q3:一个@和两个@@有什么区别?​

传统rsyslog转发语法中,@是UDP,@@是TCP。协议和端口还可以用omfwd明确设置。

Q4:为什么两端都抓到了包,应用还是收不到?​

报文到达接收端后,还要经过本机防火墙、端口监听和程序处理。本次案例就是被接收端iptables丢弃了。

Q5:tcpdump为什么能抓到iptables拦截的包?​

在常见的Linux入站路径上,tcpdump能在报文进入iptables的INPUT过滤前看到它。后面的iptables规则如果丢弃报文,监听程序就收不到。

Q6:为什么只放行TCP 514,UDP还是不通?​

TCP和UDP是不同的传输协议。iptables规则会匹配协议类型,514/tcp的放行规则不会自动放行514/udp。

Q7:看到514/tcp放行、没看到514/udp,就一定是防火墙问题吗?​

继续看INPUT默认策略、前面的规则和自定义链。如果默认策略是DROP,也没有其他UDP 514放行规则,那么对应的UDP报文就会被拦。

Q8:ss -ulnp能证明程序收到日志吗?​

它能确认UDP端口有没有监听,以及哪个进程在监听。要确认日志被处理,还得查接收文件、程序日志或平台记录。

Q9:为什么ping通了,UDP 514还是不通?​

ping使用ICMP,日志传输用UDP。网络设备可能放行ICMP,却限制UDP 514。

Q10:89收到了UDP包,但页面查不到日志,下一步查什么?​

先查端口监听、本机iptables,再查接收文件。如果文件有日志,就查平台采集、解析时间戳、索引和查询条件。

Q11:怎么避免修复后误把旧日志当成新日志?​

每次测试用不同标识,比如syslog_test_001、syslog_test_002。修复后明确找到第二条,才能确认新日志正常到达。

Q12:UDP日志经常丢,怎么改进?​

先查网络丢包、接收缓冲区和日志量。如果对完整性要求高,可以改用TCP加队列,或者支持确认与重传的RELP,具体协议要双方一起确认。


08 只读检查脚本、处理清单与参考资料​

1. 只读检查脚本​

脚本收集本机rsyslog状态、配置检查、监听端口、路由、iptables和日志错误,不会改配置,也不会发测试报文。可以在88和89分别运行。

保存为check_rsyslog.sh:

#!/usr/bin/env bash
set -u

TARGET="${1:-<REPLICA_DB_IP>}"

echo '=== 基本信息 ==='
date
hostname

echo '=== rsyslog服务状态 ==='
systemctl is-active rsyslog 2>/dev/null || true

echo '=== rsyslog配置检查 ==='
if command -v rsyslogd >/dev/null 2>&1; then
rsyslogd -N1 2>&1 | tail -n 15
fi

echo '=== 相关配置 ==='
grep -RnsE 'omfwd|imudp|authpriv|UDPServerRun|@' \
/etc/rsyslog.conf /etc/rsyslog.d/ 2>/dev/null | head -n 80 || true

echo '=== UDP监听 ==='
ss -ulnp 2>/dev/null | grep ':514' || true

echo '=== 到目标地址的路由 ==='
ip route get "$TARGET" 2>/dev/null || true

echo '=== INPUT防火墙规则 ==='
if command -v iptables >/dev/null 2>&1; then
iptables -L INPUT -n -v --line-numbers 2>/dev/null || true
fi

echo '=== rsyslog最近的服务日志 ==='
journalctl -u rsyslog -n 30 --no-pager 2>/dev/null || true

echo '=== 日志分区空间 ==='
df -h /var/log
df -i /var/log

使用方法:

# 在88上,目标填89
bash check_rsyslog.sh <REPLICA_DB_IP>

# 在89上,可以填88作为路由检查目标
bash check_rsyslog.sh <PRIMARY_DB_IP>

查看防火墙和进程信息可能需要root权限。脚本输出含IP和配置内容,保存或分享时注意脱敏。

2. 现场排查清单​

  1. 确认发送端、接收端IP,传输协议和端口。
  2. 两边同时抓包,发送一条带唯一标识的测试日志。
  3. 对比两端报文:发送端没有、接收端没有,还是两端都有。
  4. 接收端有包时,查端口监听、iptables和接收日志文件。
  5. 接收文件有日志时,继续查采集、解析、时间与入库。
  6. 修改配置或放行规则后,重新发送新标识的日志验证。
  7. 保存关键命令、抓包、命中计数和修复前后结果,记录最终原因。

3. 相关资料​