如何遍历BS4 Tag元素列表移除<li>标签并提取内容以转换为Pandas DataFrame？

首先，你完全不用绕弯子把Tag转成字符串再用正则处理——BeautifulSoup本身就提供了完美的方法来提取标签内的文本内容：.get_text() 方法。这个方法会自动处理标签内的所有子元素（包括你例子里的<span>和MathTeX脚本），直接返回干净的可读文本。

解决方案步骤 #

1. 遍历你的all_matches列表，对每个<li> Tag调用.get_text()提取文本
2. 把提取到的文本整理成一维列表，就可以直接传入pd.DataFrame生成表格了

修改后的代码示例 #

你可以在收集结果的时候直接处理，一步到位：

import requests
from bs4 import BeautifulSoup
import pandas as pd

all_matches = []
for page in url_lst:
    page = requests.get(page)
    soup = BeautifulSoup(page.content, 'html.parser')
    match = find_by_text(soup, 'The GAP', 'li')
    # 提取每个<li>标签的文本，strip=True可自动去除首尾空格
    for li_tag in match:
        all_matches.append(li_tag.get_text(strip=True))

# 直接生成DataFrame，后续导出CSV也完全没问题
df = pd.DataFrame(all_matches, columns=['GAP References'])
print(df)

如果已经有了原始的all_matches（嵌套列表结构），也可以事后批量清洗：

# 处理已有的嵌套Tag列表
cleaned_texts = []
for sublist in all_matches:
    for li_tag in sublist:
        cleaned_texts.append(li_tag.get_text(strip=True))

df = pd.DataFrame(cleaned_texts, columns=['GAP References'])

为什么你之前的方法无效？ #

• .strip()是字符串专属方法，而你的元素是bs4.element.Tag对象，直接调用自然不会生效
• 转成字符串再用正则移除<li>标签，不仅多了不必要的字符串处理步骤，还可能因为标签内的复杂子元素（比如你的MathTeX脚本）提取出冗余内容，而.get_text()会自动忽略所有标签结构，只保留纯粹的可读文本

这样处理后得到的是标准字符串列表，完全可以正常生成DataFrame，后续导出CSV也不会有任何问题。

内容的提问来源于stack exchange，提问作者Sergey Sergeev