You need to enable JavaScript to run this app. 使用BeautifulSoup爬取多周票房表格时始终返回固定URL结果的问题排查
优惠活动
大模型
产品
解决方案
定价
更多

使用BeautifulSoup爬取多周票房表格时始终返回固定URL结果的问题排查

核心问题定位
  • 请求未携带浏览器请求头,触发Box Office Mojo的反爬规则,所有请求会被重定向到固定的兜底页面(即2018W52对应的页面内容),和构造的目标URL无关
  • 行数据追加逻辑位置错误:all_rows.append(row)被写在单元格遍历的内层循环中,每解析一个单元格就会把未处理完成的残缺行写入列表,数据结构完全不符合预期
  • 变量命名混淆:将requests.get的响应对象直接命名为url,和实际的目标地址变量语义冲突,极易引发逻辑错误
  • 存在冗余无效代码:循环外层调用未定义的soup、重复定义all_rows、冗余的周数拼接逻辑,无实际作用
修正后的可运行代码
import requests
from bs4 import BeautifulSoup
import pandas as pd
import numpy as np
from time import sleep
from random import randint
import re

# 构造请求头,模拟浏览器访问
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}

# 目标年份范围
pages = np.arange(2015, 2016)
# 目标周次列表,可根据需求调整范围
week = [f"{i:02d}" for i in range(1, 54)]

all_rows = []
for page in pages:
    for week_num in week:
        # 构造目标URL
        target_url = f'https://www.boxofficemojo.com/weekly/{page}W{week_num}/'
        # 发起请求
        response = requests.get(target_url, headers=headers)
        # 校验请求状态,避免异常页面被解析
        if response.status_code != 200:
            print(f"请求失败,状态码:{response.status_code},目标地址:{target_url}")
            sleep(randint(2, 10))
            continue
        soup = BeautifulSoup(response.text, 'lxml')
        # 定位目标表格
        table_list = soup.find_all("table", attrs={"class": "a-bordered"})
        if not table_list:
            print(f"未找到目标表格,地址:{target_url}")
            sleep(randint(2, 10))
            continue
        table1 = table_list[0]
        body = table1.find_all("tr")
        body_rows = body[1:]
        # 逐行解析
        for row_num in range(len(body_rows)):
            row = []
            for row_item in body_rows[row_num].find_all("td"):
                aa = re.sub("(\xa0)|(\n)|,", "", row_item.text)
                row.append(aa)
            # 单行所有单元格解析完成后再写入列表
            all_rows.append(row)
            print(f'爬取完成:{page}年第{week_num}周')
        sleep(randint(2, 10))
补充运行注意事项
  • 保持当前设置的2-10秒随机延迟,过高的访问频率会触发站点IP封禁规则
  • 若需要导出结构化数据,可在代码末尾添加pd.DataFrame(all_rows).to_csv("box_office.csv", index=False)直接将结果写入本地文件
  • 部分年份的特殊周次(如跨年周)页面路径规则可能略有差异,可根据返回的页面状态调整爬取规则

内容的提问来源于stack exchange,提问作者alexjesplata

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.01 09:54:04