Arduino搭建内网HTTPS服务爬取报证书路径错误求解决建议

核心原因说明 #

你遇到的“浏览器正常访问、爬虫报证书错误”的核心原因是：所有主流HTTP爬虫/客户端默认不会读取操作系统的根证书存储，它们有自己独立的信任证书列表。你把自签证书加到系统受信列表后，浏览器可以正常识别，但爬虫根本不会加载系统的信任配置，自然会触发证书校验失败。 #

分步排查与解决动作 #

1. 适配爬取工具的独立信任库配置 #

• Python类爬虫（requests/Scrapy/httpx等）：默认使用certifi包内置的根证书列表，完全不读取系统证书库。
  • 临时指定信任证书：请求时给verify参数直接传入本地finalcert.crt的绝对路径，示例：requests.get("https://192.168.x.x", verify="/home/xxx/certs/finalcert.crt")
  • 全局生效：设置环境变量REQUESTS_CA_BUNDLE指向你的自签证书路径，所有Python HTTP请求会自动加载。
• Node.js类爬虫（puppeteer/axios等）：默认使用内置的CA证书存储，启动爬虫时通过环境变量引入额外信任证书：NODE_EXTRA_CA_CERTS=/path/to/finalcert.crt node your_spider.js
• Go/Java类客户端：通常需要在代码中自定义TLS配置，将你的自签证书手动加入客户端的根证书信任池，不要使用默认的系统证书池。

2. 校验服务端实际返回的证书是否匹配 #

很多场景下你在本地生成了新证书，但ESP8266端因为烧录不彻底、文件系统缓存等原因，实际对外返回的还是旧的、和当前信任证书不匹配的自签证书，直接触发校验错误。

• 用命令直接查看ESP8266服务端返回的真实证书哈希：
  echo | openssl s_client -connect 192.168.x.x:443 2>/dev/null | openssl x509 -noout -md5
• 计算本地信任的finalcert.crt的哈希：
  openssl x509 -in finalcert.crt -noout -md5
• 两个哈希值完全一致才说明服务端加载的是正确的证书，如果不一致，需要重新将最新的证书、私钥烧录到ESP8266的文件系统中，清除旧证书缓存后再测试。

3. 核对证书的主机名匹配规则 #

• 确认你实际访问的私网IP/域名，和证书subjectAltName字段里的条目完全一致：比如证书里写的是IP:192.168.1.100，就不能用192.168.1.101访问，哪怕是同一网段也会触发主机名不匹配的证书错误。
• 注意：现在所有主流HTTP客户端已经不再单独校验证书的CN字段，仅匹配subjectAltName里的条目，哪怕你的CN写的是localhost，只要SAN里没有对应的访问地址，就会校验失败。

4. 排除证书格式、权限与额外校验规则问题 #

• 用file finalcert.crt确认证书是PEM格式，如果输出是DER格式的二进制文件，需要转换为PEM格式后再给爬取工具使用。
• 确认运行爬取程序的用户对证书文件有读权限，不要将证书放在仅管理员有权限读取的路径下，避免爬取程序因读不到证书自动回退到默认信任库报错。
• 部分客户端默认开启了证书吊销状态校验，自签证书没有配套的CRL/OCSP服务，会触发校验失败。可以在对应客户端的配置里关闭证书吊销检查，该操作仅适用于私网自签证书的调试场景，公网站点访问不要关闭。

调试注意事项 #

• 调试阶段可以临时关闭证书校验快速跑通流程（比如requests中设置verify=False），但绝对不要在生产环境长期关闭HTTPS校验，否则会完全失去HTTPS的加密防护作用，容易受到私网内的流量篡改攻击。
• 注意不要将私钥文件finalkey.pem加入系统/爬取工具的信任根证书列表，仅需导入公网证书finalcert.crt即可。

内容的提问来源于stack exchange，提问作者RichardGeef