Python网页抓取:如何选取第二个tbody元素获取目标表格数据
代码调整方案
核心问题定位
你现在采集结果不对的原因非常直接:调用soup.find("tbody")时,这个方法只会返回文档流里第一个匹配的tbody元素,刚好命中了页面左侧的表格,和你要的右侧目标表格属于同级相邻的节点关系。
具体调整方法
- 最简快速适配:把原来获取单个tbody的逻辑,改为调用
soup.find_all("tbody")拿到全页面所有tbody组成的列表,取索引为1的元素即可。这个方法会按照页面从上到下的渲染顺序返回匹配结果,索引0对应你现在已经抓到的左侧表格,索引1就是你需要的右侧表格的tbody节点。 - 长期维护更稳妥的方案:不建议硬靠节点索引取值,否则一旦网页改版调整两个表格的上下顺序,采集逻辑就会失效。可以通过目标表格的关联特征定位:比如匹配表格对应的标题文本、父容器的类名、表头内容,顺着DOM树找到目标table节点后再提取其内部的tbody,稳定性会高很多。
调整后的可运行代码
# 核心修改:定位到页面顺序中的第二个tbody,作为右侧目标表格的采集入口 target_tbody = soup.find_all("tbody")[1] for row in target_tbody.find_all("tr"): col = row.find_all("td") # 增加空行判断,避免表格中的空行触发索引越界报错 if len(col) < 2: continue date = col[0].text.strip() # 保留原有逻辑:去除美元符号、千分位逗号 revenue = col[1].text.replace("$", "").replace(",", "").strip() tesla_revenue = tesla_revenue.append({"Date": date, "Revenue": revenue}, ignore_index=True) tesla_revenue.head()
补充提示:硬索引取节点的方式仅适合你临时调试、确认两个表格位置固定的场景,如果是长期运行的爬虫,建议补充特征匹配的定位逻辑,避免页面结构微调导致采集失败。
内容的提问来源于stack exchange,提问作者Kote Gomiashvili
相关产品推荐
相关产品推荐

