KDE环境下SSH持续弹出GUI密码输入框问题求助

各位好，想请教个棘手的问题：自从把系统升级到Kubuntu 24.04后，我每次首次SSH连接新服务器（过段时间超时后再次连接也会出现），都会弹出一个GUI窗口要求输入密码。

我已经尝试了好几种办法：禁用KDE Wallet、卸载ksshaskpass，还取消设置了环境变量SSH_ASKPASS，但问题依然存在。感觉这应该是某个密钥环在搞鬼，但我实在搞不清具体是哪个。

我的密钥已经在ssh-agent里了（用ssh-add -l命令验证过确实存在）。更奇怪的是，有些服务器要求输入的不是密钥本身的密码，而是我的系统登录密码。可能是升级过程中被要求输入密码时我操作出错了，但具体细节我记不太清了。

我用ssh -vv命令做了调试，得到以下日志内容：

debug1: Will attempt key: RSA SHA256: explicit agent
debug1: Offering public key: RSA SHA256: explicit agent
debug1: Server accepts key: RSA SHA256: explicit agent

附上弹出的GUI密码输入框截图：

备注：内容来源于stack exchange，提问作者Simon B