You need to enable JavaScript to run this app. 使用BeautifulSoup爬取SEC表格 分页数据无法合并到pandas DataFrame
优惠活动
大模型
产品
解决方案
定价
更多

使用BeautifulSoup爬取SEC表格 分页数据无法合并到pandas DataFrame

分页爬取SEC交易报告时多页结果无法合并进同一DataFrame的问题修复

触发问题的代码核心错误点

  • 列表初始化位置错误:final = [] 写在了每一次分页循环的内部,导致每执行一轮循环,之前存的历史数据就被重新清空为空列表,根本无法跨分页留存数据。
  • 列表方法误用:Python内置列表的append()是原地修改操作,无返回值,写final = final.append(data)会直接把final变量赋值为None,第一次循环执行完成后总列表就已经变成空值,无法继续追加内容。
  • 缺少站点请求适配:SEC站点会拦截未配置合规User-Agent的高频请求,很容易在爬取中途触发403错误,返回的错误页面不存在目标表格结构,进一步放大数据拼接的报错概率。
  • 空值过滤逻辑不足:没有对爬取到的空行、结构异常行做判断,容易出现单行列数和预设表头不匹配的问题,最终生成DataFrame时报错。

修复后可直接运行的完整代码

import pandas as pd
import requests
from bs4 import BeautifulSoup

# 跨循环使用的总数据列表只在循环外初始化一次
final = []
# 配置符合SEC爬虫要求的请求头,避免被站点拦截
headers = {
    "User-Agent": "Research Use Contact: your-email@example.com",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "keep-alive"
}

for num in range(0, 800, 80):
    url = f'https://www.sec.gov/cgi-bin/own-disp?action=getissuer&CIK=0000018349&type=&dateb=&owner=include&start={num}'
    r = requests.get(url, headers=headers, timeout=10)
    r.raise_for_status()
    html = r.text

    soup = BeautifulSoup(html, 'html.parser')
    table = soup.find('table', id="transaction-report")
    # 跳过无目标表格的异常页面
    if not table:
        continue
    rows = table.find_all('tr')
    # 当前页的临时数据列表在循环内初始化
    data = []
    for row in rows[1:]:
        cols = row.find_all('td')
        # 过滤空行,避免列数不匹配
        if not cols:
            continue
        cols = [ele.text.strip() for ele in cols]
        data.append([ele for ele in cols if ele])
    # 用extend平铺当前页数据,避免生成嵌套列表
    final.extend(data)

# 全部分页爬取完成后再统一生成DataFrame
result = pd.DataFrame(final, columns=[
    'A or D', 'Date', 'Reporting Owner', 'Form', 'Transaction Type',
    'Ownership D or I', 'Number of Securities Transacted', 'Number of Securities Owned',
    'Line Number', 'Owner CIK', 'Security Name'
])

print(result)

核心逻辑调整说明

  • 所有需要跨循环保留状态的变量,必须定义在循环缩进块的外部,否则每轮循环执行时都会触发重新初始化,覆盖历史存储的内容。
  • 拼接二维表格数据时,优先使用列表的extend()方法代替append():每一页爬取到的data本身是包含多行数据的二维列表,extend()可以直接把当前页的所有行平铺到总列表中,不会生成嵌套层级混乱的列表结构,也完全规避了append()无返回值的赋值错误。
  • 对SEC这类公开数据站点爬取时,必须在请求头中配置带联系信息的User-Agent,否则站点的WAF会将无标识的爬虫请求判定为恶意流量,直接返回拦截页面,导致脚本拿不到有效表格数据。
  • 在循环中增加简单的空表格判断、空行过滤逻辑,可以避免遇到无数据的分页、临时网络异常导致的页面结构错误时,直接触发索引越界的崩溃,保障全量数据的拼接稳定性。

内容的提问来源于stack exchange,提问作者JodeCharger100

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 09:54:04