Google Colab运行requests爬虫报SSL: CERTIFICATE_VERIFY_FAILED错误求助
该报错的核心原因是目标站点的SSL证书颁发机构不在Google Colab环境默认信任的根证书列表中,可通过以下几种方法解决:
解决方案
- 方案1:临时关闭SSL证书校验(最简便,适合非敏感爬虫场景)
仅需在requests.get参数中添加verify=False即可跳过校验,同时可添加代码屏蔽对应的安全警告,示例代码如下:
import requests import urllib3 # 屏蔽SSL未验证的警告信息 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) URL = "https://bigdataldn.com/speakers/" page = requests.get(URL, verify=False) print(page.text)
注意:该方案会跳过SSL身份验证,存在被中间人攻击的风险,仅建议用于公开站点的非敏感数据爬取场景。
- 方案2:升级依赖根证书库
问题也可能是Colab环境内置的CA根证书库版本过旧、未收录目标站点的证书颁发机构导致,先执行升级命令再运行原代码即可:
!pip install --upgrade requests certifi
升级完成后重新运行你原先的代码即可正常请求。
- 方案3:手动指定目标站点证书(安全性最高)
如果你需要保证请求安全性,可以手动导出目标站点的PEM格式根证书,上传到Colab运行环境后,在请求时指定证书路径即可:
import requests URL = "https://bigdataldn.com/speakers/" # 替换为你上传的证书实际存储路径 page = requests.get(URL, verify="/content/target_site_root_cert.pem") print(page.text)
内容的提问来源于stack exchange,提问作者Raspberry Lemon
相关产品推荐
相关产品推荐

