使用Python httpx遇SSL证书错误，网站是否故意防爬？政务站会吗？

一、网站是否会故意使用无效证书阻止爬虫？ #

• 可能性极低，故意配置无效证书属于损人不利己的操作：
  • 无效证书会导致所有正规浏览器、客户端无法正常访问，不仅拦截爬虫，还会阻断普通用户的合法访问，完全违背网站提供服务的初衷。
  • 你遇到的交易所网站搭配TLSv1协议出现无效中间证书问题，更大概率是运维疏漏：比如证书链配置不完整（未正确部署中间证书）、证书过期未更新、老旧TLS协议配套的证书体系未及时维护。
  • 若网站真想拦截爬虫，会采用更精准的手段：IP封禁、UA校验、验证码、请求频率限制等，不会拿全站可用性做代价。

二、政务类网站是否会采用这种方式？ #

• 基本不可能，政务类网站对合规性和可用性要求极高：
  • 政务网站属于公共服务平台，必须保障所有合法用户的正常访问，故意配置无效证书属于严重运维事故，会影响公共服务效率，甚至需承担相应责任。
  • 你遇到的政务网站证书错误，大概率是证书链部署失误或服务器SSL配置遗漏中间证书，和反爬虫无关。

补充建议 #

• 虽然设置verify=False能绕过验证获取数据，但这种做法风险极高，会让请求暴露在中间人攻击的威胁下，不建议长期使用。正确的处理方式是手动补充缺失的中间证书到本地信任库，或在httpx请求中通过verify="/path/to/ca-bundle.pem"指定完整的证书链文件。
• 老旧的TLSv1协议本身安全性极低，网站仍使用该协议通常是因为依赖的老旧系统无法升级，并非刻意反爬虫。

内容的提问来源于stack exchange，提问作者Bassel Fathy