如何用Python脚本循环处理多个XML站点地图？无法提取特定链接

你的代码已经成功拿到了站点地图的XML内容，接下来只需要找准存储链接的<loc>标签（XML站点地图的标准结构里，每个页面链接都嵌套在<url>节点下的<loc>标签中），就能轻松遍历所有链接，还能快速扩展到多站点地图的场景。

第一步：提取单个站点地图的所有链接 #

我们基于你的现有代码修改，用BeautifulSoup的find_all方法定位所有<loc>标签，再提取标签内的文本就是目标链接：

from urllib.request import urlopen
from bs4 import BeautifulSoup as soup

# 单个站点地图URL
sitemap_url = 'https://www.desertessence.com/sitemap.xml'

try:
    # 打开并读取站点地图内容
    pagedata = urlopen(sitemap_url)
    mapa = soup(pagedata, "lxml-xml")
    
    # 定位所有存储链接的<loc>标签
    loc_tags = mapa.find_all('loc')
    
    # 遍历标签提取链接
    for idx, loc in enumerate(loc_tags):
        link = loc.get_text(strip=True)  # 去除文本前后的多余空格
        print(f"第{idx+1}个链接: {link}")
        
except Exception as e:
    print(f"处理站点地图时出错: {str(e)}")

第二步：扩展到多个站点地图 #

如果要批量处理多个站点地图，只需要把所有站点地图的URL放进一个列表，循环遍历每个URL重复提取逻辑即可，还可以把提取逻辑封装成函数让代码更整洁：

from urllib.request import urlopen
from bs4 import BeautifulSoup as soup

# 多个站点地图URL列表
sitemap_urls = [
    'https://www.desertessence.com/sitemap.xml',
    # 可以继续添加其他站点地图URL
    # 'https://example.com/sitemap-product.xml',
    # 'https://example.com/sitemap-blog.xml'
]

def process_sitemap(url):
    """处理单个站点地图，返回提取到的所有链接"""
    links = []
    try:
        pagedata = urlopen(url)
        mapa = soup(pagedata, "lxml-xml")
        loc_tags = mapa.find_all('loc')
        
        for loc in loc_tags:
            link = loc.get_text(strip=True)
            links.append(link)
            
    except Exception as e:
        print(f"处理站点地图 {url} 时出错: {str(e)}")
    
    return links

# 遍历所有站点地图，收集所有链接
all_links = []
for url in sitemap_urls:
    site_links = process_sitemap(url)
    all_links.extend(site_links)
    print(f"从 {url} 提取到 {len(site_links)} 个链接")

# 输出所有收集到的链接
print("\n所有提取到的链接：")
for link in all_links:
    print(link)

关键细节说明 #

• XML站点地图遵循标准结构，链接都存放在<url>节点下的<loc>标签里，所以find_all('loc')能精准定位所有目标链接。
• 加入try-except块可以避免单个站点地图加载失败时，整个脚本直接崩溃。
• 封装process_sitemap函数后，后续要修改提取逻辑或者复用代码都会更方便。

内容的提问来源于stack exchange，提问作者noussama