You need to enable JavaScript to run this app. Python网页抓取:如何选取第二个tbody元素获取目标表格数据
优惠活动
大模型
产品
解决方案
定价
更多

Python网页抓取:如何选取第二个tbody元素获取目标表格数据

代码调整方案

核心问题定位

你现在采集结果不对的原因非常直接:调用soup.find("tbody")时,这个方法只会返回文档流里第一个匹配的tbody元素,刚好命中了页面左侧的表格,和你要的右侧目标表格属于同级相邻的节点关系。

具体调整方法

  • 最简快速适配:把原来获取单个tbody的逻辑,改为调用soup.find_all("tbody")拿到全页面所有tbody组成的列表,取索引为1的元素即可。这个方法会按照页面从上到下的渲染顺序返回匹配结果,索引0对应你现在已经抓到的左侧表格,索引1就是你需要的右侧表格的tbody节点。
  • 长期维护更稳妥的方案:不建议硬靠节点索引取值,否则一旦网页改版调整两个表格的上下顺序,采集逻辑就会失效。可以通过目标表格的关联特征定位:比如匹配表格对应的标题文本、父容器的类名、表头内容,顺着DOM树找到目标table节点后再提取其内部的tbody,稳定性会高很多。

调整后的可运行代码

# 核心修改:定位到页面顺序中的第二个tbody,作为右侧目标表格的采集入口
target_tbody = soup.find_all("tbody")[1]

for row in target_tbody.find_all("tr"):
    col = row.find_all("td")
    # 增加空行判断,避免表格中的空行触发索引越界报错
    if len(col) < 2:
        continue
    date = col[0].text.strip()
    # 保留原有逻辑:去除美元符号、千分位逗号
    revenue = col[1].text.replace("$", "").replace(",", "").strip()

    tesla_revenue = tesla_revenue.append({"Date": date, "Revenue": revenue}, ignore_index=True)

tesla_revenue.head()

补充提示:硬索引取节点的方式仅适合你临时调试、确认两个表格位置固定的场景,如果是长期运行的爬虫,建议补充特征匹配的定位逻辑,避免页面结构微调导致采集失败。

内容的提问来源于stack exchange,提问作者Kote Gomiashvili

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.29 14:06:04