You need to enable JavaScript to run this app. 使用Python与BeautifulSoup网页爬取失败,无法获取指定页面的网址列表
优惠活动
大模型
产品
解决方案
定价
更多

使用Python与BeautifulSoup网页爬取失败,无法获取指定页面的网址列表

爬虫代码常见问题与修复

核心问题排查

  • 空列表判断逻辑完全颠倒:原代码中判断条件为if website_Links != "": print("List is empty"),由于find_all方法返回的是列表类型,永远不可能等于空字符串,只要接口正常返回哪怕一个节点,就会错误触发“列表为空”的提示。正确的空列表判断需要校验列表长度。
  • 变量名拼写错误导致数据丢失:循环内提取链接时,代码写为webLinksList.append(featured_challenge.attrs['href']),全程没有定义过featured_challenge这个变量,每次执行代码都会触发NameError;又因为代码用了宽泛的try-except把所有异常静默拦截,报错信息完全被隐藏,最终导致收集到的链接列表始终为空。
  • 请求头缺失导致被站点拦截:requests默认的请求标识会被目标站点识别为爬虫流量,部分站点会返回不包含核心内容的简化响应,导致DOM节点匹配不到预期元素,这也是很多时候find_all返回空列表的常见诱因。
  • 代码冗余重复:原代码重复导入库、重复发送两次相同的页面请求,既拖慢运行效率也没有实际作用。

修复后可运行代码

import requests
from bs4 import BeautifulSoup

# 添加模拟浏览器的请求头,避免被站点反爬拦截
request_headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
}

webLinksList = []
# 单次请求获取目标页面
page_response = requests.get(
    "https://www.wer-zu-wem.de/dienstleister/filmstudios.html",
    headers=request_headers,
    timeout=10
)
soup = BeautifulSoup(page_response.content, 'lxml')

# 定位目标容器节点
container_nodes = soup.find_all(
    'div', class_='col-md-4 col-lg-5 col-xl-4 text-center text-lg-right'
)

# 修正空列表判断逻辑
if len(container_nodes) == 0:
    print("List is empty")

for node in container_nodes:
    try:
        target_link = node.find("a", attrs={"class": "btn btn-primary external-link"})
        # 修正变量名错误,直接提取当前匹配到的链接地址
        webLinksList.append(target_link.attrs['href'])
    except Exception as e:
        # 调试阶段可以打印异常,方便定位问题
        # print(f"跳过无效节点:{e}")
        continue

# 输出提取到的所有网站地址
for link in webLinksList:
    print(link)

调试注意事项

  • 不要使用无差别拦截所有异常的try-except,调试阶段可以打印异常信息,能快速定位变量名错误、节点不存在等问题
  • 若仍无法匹配到节点,可以先打印页面源码文本,确认站点返回的内容和浏览器实际打开的页面是否一致,排除反爬拦截的影响

内容的提问来源于stack exchange,提问作者Schaedel420

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.05 22:36:02