Python使用BeautifulSoup爬取网页时<td>标签文本返回空如何解决？

• 浏览器自动补全tbody标签：从浏览器开发者工具复制的XPath默认会带上tbody节点，但绝大多数站点的原始HTML源码里，table标签下不存在tbody节点，该节点是浏览器渲染DOM时自动补全的，使用携带tbody的XPath匹配原始HTML，要么匹配不到节点，要么匹配到的节点无有效文本。
• 二次解析导致结构失真：你先将请求返回的内容用BeautifulSoup解析，再转成字符串传给etree做二次解析，两次解析的规则差异可能导致DOM结构改变，td节点的文本内容丢失。
• .text属性取值存在局限：etree的.text属性仅能获取节点的直接子文本，如果td标签内部还有span、font之类的内嵌标签包裹了目标文本，.text就会返回空字符串。

你可以按照优先级依次尝试以下方案：

1. 移除XPath中的tbody节点
   修改asin的取值XPath，去掉不存在的tbody层级：

asin = detaildom.xpath('//*[@id="productDetails_detailBullets_sections1"]/tr[1]/td')[0].text

2. 直接在XPath中提取文本
   不要用.text取值，改为在XPath路径中直接匹配文本内容，可同时拿到内嵌标签内的文本：

asin = detaildom.xpath('string(//*[@id="productDetails_detailBullets_sections1"]/tr[1]/td)').strip()

3. 优化解析链路，避免二次解析
   直接将请求返回的原始内容传给etree解析，不要经过BeautifulSoup转码：

detailPage = requests.get(SUBURL, headers=HEADERS)
# 直接用原始内容生成etree对象
detaildom = etree.HTML(detailPage.content)
name = detaildom.xpath('//*[@id="productTitle"]')[0].text
asin = detaildom.xpath('string(//*[@id="productDetails_detailBullets_sections1"]/tr[1]/td)').strip()

4. 直接用BeautifulSoup定位，无需引入etree
   你的需求用BeautifulSoup即可实现，无需额外引入etree，减少依赖同时避免解析差异：

from bs4 import BeautifulSoup
import requests

detailPage = requests.get(SUBURL, headers=HEADERS)
detailsoup = BeautifulSoup(detailPage.content, "html.parser")
name = detailsoup.find(id="productTitle").get_text(strip=True)
detail_table = detailsoup.find(id="productDetails_detailBullets_sections1")
first_tr = detail_table.find_all("tr")[0]
asin = first_tr.find("td").get_text(strip=True)

内容的提问来源于stack exchange，提问作者Cornel Petrescu