Beautiful Soup在PythonAnywhere环境下运行返回空的问题排查
核心原因
出现空返回本质是PythonAnywhere环境下请求拿到的HTML内容和本地运行时不一致,BeautifulSoup找不到对应<article>节点,循环空转最终返回空字典,按以下方向逐一排查即可解决:
- 反爬拦截:requests库默认发送的
python-requests/版本号User-Agent会被站点直接识别拦截,返回的内容是验证页、空壳页面或403响应,根本不携带文章列表结构 - 服务器IP封禁:PythonAnywhere的出口IP段属于公开云服务商IP,大量站点会直接封禁这类IP阻止爬虫抓取
- 地域适配跳转:机房节点访问时,站点可能触发地域检测逻辑,返回地区选择页、欢迎页而非带最新帖子列表的首页
- 代码缺少校验逻辑:当前代码没有对请求返回值、页面元素存在性做校验,只要页面结构和预期不符,循环就会无提示空转,不会抛出报错,最终只返回空字典
修正操作步骤
- 最小化验证响应内容
在PythonAnywhere交互控制台逐行执行代码,直接打印响应内容的前300个字符,和本地拿到的首页HTML做对比,第一时间确认是否拿到目标首页的正常内容:resp = requests.get("https://igg-games.com/") print(resp.text[:300]) - 补全合法请求头
替换默认的请求标识,模拟普通浏览器的请求行为,避免被反爬规则直接拦截:headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36", "Accept-Language": "en-US,en;q=0.9" } resp = requests.get("https://igg-games.com/", headers=headers, timeout=15) - 排查IP封禁状态
在PythonAnywhere控制台执行curl -I https://igg-games.com/,查看返回的HTTP状态码:如果返回403/406类禁止访问响应,说明当前服务器IP被站点封禁,需要在请求中补充合法的访问Cookie,或调整请求逻辑适配站点反爬规则。 - 增加元素存在性校验
避免循环无提示空转,解析前先确认目标节点数量:
如果节点数量为0,直接将完整响应HTML导出排查,不要依赖空返回定位问题。soup = BeautifulSoup(resp.text, "html.parser") article_list = soup.find_all('article') print(f"页面共找到{len(article_list)}个文章节点")
内容的提问来源于stack exchange,提问作者Isaiah
相关产品推荐
相关产品推荐

