使用BeautifulSoup爬取多周票房表格时始终返回固定URL结果的问题排查
核心问题定位
- 请求未携带浏览器请求头,触发Box Office Mojo的反爬规则,所有请求会被重定向到固定的兜底页面(即2018W52对应的页面内容),和构造的目标URL无关
- 行数据追加逻辑位置错误:
all_rows.append(row)被写在单元格遍历的内层循环中,每解析一个单元格就会把未处理完成的残缺行写入列表,数据结构完全不符合预期 - 变量命名混淆:将
requests.get的响应对象直接命名为url,和实际的目标地址变量语义冲突,极易引发逻辑错误 - 存在冗余无效代码:循环外层调用未定义的
soup、重复定义all_rows、冗余的周数拼接逻辑,无实际作用
修正后的可运行代码
import requests from bs4 import BeautifulSoup import pandas as pd import numpy as np from time import sleep from random import randint import re # 构造请求头,模拟浏览器访问 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" } # 目标年份范围 pages = np.arange(2015, 2016) # 目标周次列表,可根据需求调整范围 week = [f"{i:02d}" for i in range(1, 54)] all_rows = [] for page in pages: for week_num in week: # 构造目标URL target_url = f'https://www.boxofficemojo.com/weekly/{page}W{week_num}/' # 发起请求 response = requests.get(target_url, headers=headers) # 校验请求状态,避免异常页面被解析 if response.status_code != 200: print(f"请求失败,状态码:{response.status_code},目标地址:{target_url}") sleep(randint(2, 10)) continue soup = BeautifulSoup(response.text, 'lxml') # 定位目标表格 table_list = soup.find_all("table", attrs={"class": "a-bordered"}) if not table_list: print(f"未找到目标表格,地址:{target_url}") sleep(randint(2, 10)) continue table1 = table_list[0] body = table1.find_all("tr") body_rows = body[1:] # 逐行解析 for row_num in range(len(body_rows)): row = [] for row_item in body_rows[row_num].find_all("td"): aa = re.sub("(\xa0)|(\n)|,", "", row_item.text) row.append(aa) # 单行所有单元格解析完成后再写入列表 all_rows.append(row) print(f'爬取完成:{page}年第{week_num}周') sleep(randint(2, 10))
补充运行注意事项
- 保持当前设置的2-10秒随机延迟,过高的访问频率会触发站点IP封禁规则
- 若需要导出结构化数据,可在代码末尾添加
pd.DataFrame(all_rows).to_csv("box_office.csv", index=False)直接将结果写入本地文件 - 部分年份的特殊周次(如跨年周)页面路径规则可能略有差异,可根据返回的页面状态调整爬取规则
内容的提问来源于stack exchange,提问作者alexjesplata
相关产品推荐
相关产品推荐

