使用BeautifulSoup解析大XML站点地图仅解析部分内容的问题

你的代码一次性把10MB的XML文件全部读入内存再解析，这种方式很容易因内存限制导致内容截断，出现从文件末尾开始解析的异常。另外readlines()+join()的操作完全没必要，BeautifulSoup可以直接接收文件对象，让lxml以流式方式处理大文件，避免内存过载。

修改后的代码 #

sitemap = "sitemap1.xml"
from bs4 import BeautifulSoup as bs
import lxml

# 直接打开文件并传给BeautifulSoup，指定编码避免乱码
with open(sitemap, "r", encoding="utf-8") as file:
    bs_content = bs(file, "xml")

# 提取所有loc标签内容
for loc_tag in bs_content.find_all("loc"):
    print(loc_tag.text)

超大文件优化方案 #

如果文件更大（几十MB以上），可以用lxml的迭代解析方式，进一步降低内存占用：

from lxml import etree

sitemap = "sitemap1.xml"
# 创建迭代解析器，仅监听loc标签的结束事件
context = etree.iterparse(sitemap, events=('end',), tag='loc')

for event, elem in context:
    print(elem.text)
    # 清理已处理的元素，释放内存
    elem.clear()
    while elem.getprevious() is not None:
        del elem.getparent()[0]

这种方式不会把整个XML加载到内存，处理完一个loc标签就释放对应内存，适合超大规模的站点地图文件。

内容的提问来源于stack exchange，提问作者JS0NBOURNE