本地网络连接延迟（SYN RETRANSMISSION）问题求助

大家好，我最近碰到了一个非常困扰的本地网络问题，想请各位帮忙分析下可能的原因：

大多数时候我没法立刻连接到我的IP摄像头或者本地服务器——不管是用PC/手机上的软件/浏览器访问摄像头，还是通过SSH连接服务器，一开始都会有大约10秒的延迟才能成功建立连接。

先给大家说下我的网络拓扑（除了手机都是有线连接）：

• 主ISP路由器：IP地址 192.168.100.1，IP摄像头和本地服务器直接连接到这个路由器
• IP摄像头：192.168.100.42
• 本地服务器：192.168.100.55
• 二级OpenWrt路由器：IP地址 192.168.1.1，它的WAN口地址是 192.168.100.100（连接到主ISP路由器），我的PC和手机只通过这个OpenWrt路由器上网
• 我的PC：192.168.1.10

我在OpenWrt路由器上做了抓包分析，发现比如打开摄像头APP时，设备会向摄像头发送SYN包，但要等10秒左右才能收到回复；SSH连接服务器时也是同样的情况，抓包中能看到明显的SYN重传现象。

我现在有点疑惑：是不是需要在主路由器或者OpenWrt路由器上手动添加路由规则？还是有其他可能的问题点？另外这个问题的诡异之处在于，有时候连接又完全正常（尤其是刚连接过之后），但如果一段时间没有访问，再次连接就大概率会出现延迟。

备注：内容来源于stack exchange，提问作者user1888803