双路由器直连调制解调器场景下跨网段访问服务器故障求助

我现在遇到了一个跨网段访问的问题，想请大家帮忙看看怎么解决。先说说我的网络环境：

• 路由器A（Linksys mx8500）：

  • 直接连接调制解调器，网关IP是 192.168.1.1
  • 下面只接了一台服务器，本地IP是 192.168.1.80

• 路由器B（eero S010011）：

  • 同样直接连接调制解调器，网关IP是 192.168.4.1
  • 下面挂了好多设备，比如我的手机、台式机这些

现在的问题是：

• 当我不连接路由器B的网络时，能正常访问那台服务器
• 连接路由器A的网络时，也能正常访问服务器
• 但只要连接路由器B的网络，就完全访问不了服务器

有没有大佬能指点一下怎么解决这个问题？谢谢啦！

备注：内容来源于stack exchange，提问作者user1807618