如何对CSV中存储的HTML标签内容使用BeautifulSoup提取指定数据？

报错处理方法 #

你遇到的报错通常是两类原因导致的，按以下步骤排查即可解决：

• 首先确认从CSV读取的HTML内容是合法字符串：如果用pandas读取CSV，对应列可能存在空值（NaN）、或者被识别为非字符串类型，提前做类型转换和空值处理即可，示例代码：

  # 假设存储HTML表格的列名为html_table
  df['html_table'] = df['html_table'].fillna('').astype(str)
  

• 调用BeautifulSoup时明确指定解析器，避免默认解析器不兼容问题，示例写法：

  from bs4 import BeautifulSoup
  
  # 逐行处理表格内容，假设目标表头为"订单编号"
  target_content_list = []
  for html_str in df['html_table']:
      if not html_str:
          target_content_list.append('')
          continue
      # 明确用python内置的html.parser解析
      soup = BeautifulSoup(html_str, 'html.parser')
      # 匹配对应表头的th节点
      th_node = soup.find('th', string=lambda t: t and t.strip() == '订单编号')
      if th_node:
          # 取同级的下一个td节点内容
          td_node = th_node.find_next_sibling('td')
          target_content = td_node.get_text(strip=True) if td_node else ''
      else:
          target_content = ''
      target_content_list.append(target_content)
  
  # 把结果存到新列
  df['target_content'] = target_content_list
  

BeautifulSoup是否是最优方案 #

对于该需求来说，BeautifulSoup是最优选择：

• 容错性高：CSV里存储的HTML表格可能存在标签不闭合、属性异常等问题，BeautifulSoup可以自动修正格式异常，正常解析内容
• 开发成本低：不需要手动处理HTML标签匹配、转义字符解析等逻辑，几行代码就能完成匹配提取，后续维护成本也很低

如果你的HTML表格格式100%固定无变动，也可以用正则提取，但正则兼容性极差，只要HTML结构出现微小变动（比如标签加了换行、新增了class属性）就会匹配失败，没有特殊需求不推荐使用。

内容的提问来源于stack exchange，提问作者Marcelo Soares