使用Python与BeautifulSoup网页爬取失败,无法获取指定页面的网址列表
爬虫代码常见问题与修复
核心问题排查
- 空列表判断逻辑完全颠倒:原代码中判断条件为
if website_Links != "": print("List is empty"),由于find_all方法返回的是列表类型,永远不可能等于空字符串,只要接口正常返回哪怕一个节点,就会错误触发“列表为空”的提示。正确的空列表判断需要校验列表长度。 - 变量名拼写错误导致数据丢失:循环内提取链接时,代码写为
webLinksList.append(featured_challenge.attrs['href']),全程没有定义过featured_challenge这个变量,每次执行代码都会触发NameError;又因为代码用了宽泛的try-except把所有异常静默拦截,报错信息完全被隐藏,最终导致收集到的链接列表始终为空。 - 请求头缺失导致被站点拦截:requests默认的请求标识会被目标站点识别为爬虫流量,部分站点会返回不包含核心内容的简化响应,导致DOM节点匹配不到预期元素,这也是很多时候
find_all返回空列表的常见诱因。 - 代码冗余重复:原代码重复导入库、重复发送两次相同的页面请求,既拖慢运行效率也没有实际作用。
修复后可运行代码
import requests from bs4 import BeautifulSoup # 添加模拟浏览器的请求头,避免被站点反爬拦截 request_headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36" } webLinksList = [] # 单次请求获取目标页面 page_response = requests.get( "https://www.wer-zu-wem.de/dienstleister/filmstudios.html", headers=request_headers, timeout=10 ) soup = BeautifulSoup(page_response.content, 'lxml') # 定位目标容器节点 container_nodes = soup.find_all( 'div', class_='col-md-4 col-lg-5 col-xl-4 text-center text-lg-right' ) # 修正空列表判断逻辑 if len(container_nodes) == 0: print("List is empty") for node in container_nodes: try: target_link = node.find("a", attrs={"class": "btn btn-primary external-link"}) # 修正变量名错误,直接提取当前匹配到的链接地址 webLinksList.append(target_link.attrs['href']) except Exception as e: # 调试阶段可以打印异常,方便定位问题 # print(f"跳过无效节点:{e}") continue # 输出提取到的所有网站地址 for link in webLinksList: print(link)
调试注意事项
- 不要使用无差别拦截所有异常的
try-except,调试阶段可以打印异常信息,能快速定位变量名错误、节点不存在等问题 - 若仍无法匹配到节点,可以先打印页面源码文本,确认站点返回的内容和浏览器实际打开的页面是否一致,排除反爬拦截的影响
内容的提问来源于stack exchange,提问作者Schaedel420
相关产品推荐
相关产品推荐

