XML转DataFrames：网页动态表格读取失败的技术求助

嘿，我之前也碰到过一模一样的情况！pandas.read_html只能抓取静态HTML里已经渲染好的表格，如果数据是通过动态请求加载（比如从XML接口拉取后再渲染成表格），那它自然返回空列表。既然你已经定位到数据源是XML格式，咱们直接绕开网页渲染，直接解析XML就好啦～

步骤1：找到XML数据源的真实接口 #

首先得拿到这个XML的实际请求地址：

• 打开浏览器开发者工具（按F12），切换到「网络」标签页
• 刷新网页，筛选「XHR/Fetch」类型的请求，或者直接搜索「xml」关键词
• 找到返回内容是你提供的XML格式的请求，复制它的URL

步骤2：解析XML为DataFrame #

这里有两种常用方法，根据你的XML结构复杂度选择：

方法一：用pandas原生的read_xml（推荐，适合简单结构） #

如果你的XML结构比较规整（比如像示例里的<Items>包含多个<Item>节点），pandas 1.3.0及以上版本支持直接解析XML：

import pandas as pd
import requests

# 替换成你找到的XML接口地址
xml_api_url = "https://your-target-url.com/data.xml"

# 发送请求获取XML内容，注意设置正确编码
response = requests.get(xml_api_url)
response.encoding = "UTF-8"

# 直接解析XML到DataFrame，xpath指定要提取的节点
df = pd.read_xml(response.text, xpath=".//Item")

# 查看结果
print(df.head())

方法二：用xml.etree.ElementTree手动解析（适合复杂结构） #

如果XML嵌套层级多或者字段不规则，可以手动遍历节点提取数据：

import xml.etree.ElementTree as ET
import pandas as pd
import requests

xml_api_url = "https://your-target-url.com/data.xml"
response = requests.get(xml_api_url)

# 解析XML根节点
root = ET.fromstring(response.content)

# 遍历所有<Item>节点，提取需要的字段
item_list = []
for item in root.findall("Item"):
    item_data = {}
    # 提取ID字段（根据你的XML结构调整节点名称）
    id_node = item.find("ID")
    if id_node is not None:
        item_data["ID"] = id_node.text.strip()
    # 可以继续添加其他需要的字段
    # item_data["OtherField"] = item.find("OtherField").text.strip()
    item_list.append(item_data)

# 转换为DataFrame
df = pd.DataFrame(item_list)
print(df.head())

注意事项 #

• 有些XML接口可能需要请求头（比如User-Agent）才能正常访问，记得在requests.get里加上：headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"}
• 确认XML的编码和你设置的一致（示例里是UTF-8），避免出现乱码
• 如果XML有命名空间，记得在解析时处理（比如你的示例里有xmlns:xsi，可以通过register_namespace或者在xpath里指定命名空间）

内容的提问来源于stack exchange，提问作者user9238790