通过NAT连接CentOS服务器时SSH建立缓慢的问题排查求助

我遇到了一个棘手的问题：从外网通过NAT使用Putty/Winscp连接我的CentOS服务器时，SSH连接建立需要花费很长时间，但在内网环境下连接几乎是瞬间完成的。我使用的是pfSense防火墙，而且连接其他服务器都没有类似的延迟问题。

之前因为发现有大量外网的恶意登录尝试，我已经修改过SSH的端口号，但问题依然存在，所以我推测问题应该出在目标CentOS服务器本身。

目前我已经排查了几个点：

• 服务器上没有新增未知账户
• 没有添加过新的防火墙规则
• 没有迹象表明服务器遭到了入侵

想请教各位，我可以在CentOS服务器上做哪些配置调整或者排查操作，来加快SSH连接的建立速度？非常感谢！

备注：内容来源于stack exchange，提问作者Yebach