Python requests访问truepeoplesearch返回500 代理也无效怎么解决

DevOps 小满

2026-9-25

问题核心原因

TruePeopleSearch部署了Cloudflare的反爬防护机制，普通requests请求会触发JavaScript验证、人机挑战校验，直接返回500/403错误
你当前的使用方式存在两个错误：
1. 硬编码的过期Cookie、cf_chl相关参数放在请求头里，这类Cloudflare生成的校验参数有效期极短，复制的参数很快就会失效，无法通过验证
2. 使用ScraperAPI时没有开启Cloudflare验证绕过的配置参数，普通代理模式默认不处理人机挑战，自然会返回报错

修复方案

方案1：使用支持Cloudflare绕过的请求库替代原生requests
推荐用cloudscraper库，这个库专门针对Cloudflare的验证做了适配，不用手动处理Cookie和校验参数，安装命令：pip install cloudscraper
示例代码：

import cloudscraper

scraper = cloudscraper.create_scraper(delay=10, browser={'browser': 'chrome', 'platform': 'windows', 'mobile': False})
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'}
r = scraper.get('https://www.truepeoplesearch.com/', headers=headers)
print(r.status_code)
print(r.text[:500])

方案2：如果坚持用ScraperAPI，需要在请求参数里开启Cloudflare绕过配置，添加premium=true参数（ScraperAPI的premium节点专门处理高难度反爬站点，包括Cloudflare验证），修改后的payload如下：
```
payload = {
    'api_key': 'dd6a50aba760cc67e0276d840a7989cd', 
    'url': 'https://www.truepeoplesearch.com/',
    'premium': 'true'
}
```
注意：使用premium节点会消耗更多的ScraperAPI请求额度，使用前确认你的账户有足够的额度。
额外注意事项：不要硬编码任何Cloudflare生成的Cookie、tk参数，这类参数都是一次性或者短时效的，手动复制没有任何意义，反爬库或者代理API会自动处理这类参数。