Ubuntu 19/20系统IPv4 SSH访问被拒绝但IPv6可正常登录的问题求助

大家好，我碰到一个特别费解的问题，想请社区里的朋友们帮忙分析下！我目前在用Ubuntu 19或者20系统（两个版本下问题表现完全一致），具体情况如下：

• 我能通过IPv4 ping通服务器，也能发起SSH连接请求
• 用IPv4进行SSH连接时，服务器确实会弹出用户名和密码的输入提示，但不管我输入什么（哪怕特意把密码改成超级简单的1），都会返回“access denied”的错误
• 可是换成IPv6来SSH登录的话，用同一个用户名和密码就能顺利进入系统

我完全摸不着头绪，不知道问题到底出在哪儿，折腾了好久都没解决。下面是我用ip addr命令查到的网络配置（真实IP已经打码处理）：

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 0a:de:48:be:38:e5 brd ff:ff:ff:ff:ff:ff
    inet 161.253.189.186/24 brd 162.250.189.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 2601:ffd3:1:24e::1/36 scope global
       valid_lft forever preferred_lft forever
    inet6 fe80::8de:48ff:febe:38e5/64 scope link
       valid_lft forever preferred_lft forever

备注：内容来源于stack exchange，提问作者Pradyut Bhattacharya