使用BeautifulSoup爬取SEC表格 分页数据无法合并到pandas DataFrame
分页爬取SEC交易报告时多页结果无法合并进同一DataFrame的问题修复
触发问题的代码核心错误点
- 列表初始化位置错误:
final = []写在了每一次分页循环的内部,导致每执行一轮循环,之前存的历史数据就被重新清空为空列表,根本无法跨分页留存数据。 - 列表方法误用:Python内置列表的
append()是原地修改操作,无返回值,写final = final.append(data)会直接把final变量赋值为None,第一次循环执行完成后总列表就已经变成空值,无法继续追加内容。 - 缺少站点请求适配:SEC站点会拦截未配置合规User-Agent的高频请求,很容易在爬取中途触发403错误,返回的错误页面不存在目标表格结构,进一步放大数据拼接的报错概率。
- 空值过滤逻辑不足:没有对爬取到的空行、结构异常行做判断,容易出现单行列数和预设表头不匹配的问题,最终生成DataFrame时报错。
修复后可直接运行的完整代码
import pandas as pd import requests from bs4 import BeautifulSoup # 跨循环使用的总数据列表只在循环外初始化一次 final = [] # 配置符合SEC爬虫要求的请求头,避免被站点拦截 headers = { "User-Agent": "Research Use Contact: your-email@example.com", "Accept-Encoding": "gzip, deflate", "Connection": "keep-alive" } for num in range(0, 800, 80): url = f'https://www.sec.gov/cgi-bin/own-disp?action=getissuer&CIK=0000018349&type=&dateb=&owner=include&start={num}' r = requests.get(url, headers=headers, timeout=10) r.raise_for_status() html = r.text soup = BeautifulSoup(html, 'html.parser') table = soup.find('table', id="transaction-report") # 跳过无目标表格的异常页面 if not table: continue rows = table.find_all('tr') # 当前页的临时数据列表在循环内初始化 data = [] for row in rows[1:]: cols = row.find_all('td') # 过滤空行,避免列数不匹配 if not cols: continue cols = [ele.text.strip() for ele in cols] data.append([ele for ele in cols if ele]) # 用extend平铺当前页数据,避免生成嵌套列表 final.extend(data) # 全部分页爬取完成后再统一生成DataFrame result = pd.DataFrame(final, columns=[ 'A or D', 'Date', 'Reporting Owner', 'Form', 'Transaction Type', 'Ownership D or I', 'Number of Securities Transacted', 'Number of Securities Owned', 'Line Number', 'Owner CIK', 'Security Name' ]) print(result)
核心逻辑调整说明
- 所有需要跨循环保留状态的变量,必须定义在循环缩进块的外部,否则每轮循环执行时都会触发重新初始化,覆盖历史存储的内容。
- 拼接二维表格数据时,优先使用列表的
extend()方法代替append():每一页爬取到的data本身是包含多行数据的二维列表,extend()可以直接把当前页的所有行平铺到总列表中,不会生成嵌套层级混乱的列表结构,也完全规避了append()无返回值的赋值错误。 - 对SEC这类公开数据站点爬取时,必须在请求头中配置带联系信息的User-Agent,否则站点的WAF会将无标识的爬虫请求判定为恶意流量,直接返回拦截页面,导致脚本拿不到有效表格数据。
- 在循环中增加简单的空表格判断、空行过滤逻辑,可以避免遇到无数据的分页、临时网络异常导致的页面结构错误时,直接触发索引越界的崩溃,保障全量数据的拼接稳定性。
内容的提问来源于stack exchange,提问作者JodeCharger100
相关产品推荐
相关产品推荐

