使用pandas导入大XML文件时，含多子元素的列数据缺失

问题原因 #

pd.read_xml() 默认仅提取单个子元素的文本内容，当父节点（如<actor-interactions>）包含多个同级子元素时，它无法自动将这些子元素聚合到DataFrame列中，因此返回空值。

解决方案 #

针对1.5GB的大型XML文件，推荐以下两种处理方式：

方法一：迭代解析XML（内存友好，适合大文件）

用lxml.etree的迭代解析功能，逐节点处理并提取数据，避免一次性加载整个文件到内存：

import pandas as pd
from lxml import etree

# 替换为你需要提取的所有字段
target_fields = [
    "actor-interactions",
    "sequence",
    "producer-interactions",
    "external-identifiers",
    # 加上你的其他单元素字段，比如"title", "release-date"等
]

records = []
# 替换"your-main-node"为XML中每条数据的根节点标签（如<movie>、<record>）
for event, elem in etree.iterparse("abc.xml", events=("end",), tag="your-main-node"):
    record = {}
    for field in target_fields:
        node = elem.find(field)
        if node is None:
            record[field] = None
            continue
            
        child_nodes = node.getchildren()
        if child_nodes:
            # 按需求处理子元素：这里提取子元素文本存为列表，可改为拼接字符串或提取属性
            record[field] = [child.text.strip() for child in child_nodes if child.text]
            # 若子元素带属性，比如<external-identifier id="123">，可改为：
            # record[field] = [child.attrib.get("id") for child in child_nodes]
        else:
            record[field] = node.text.strip() if node.text else None
    
    records.append(record)
    # 清理节点释放内存
    elem.clear()
    while elem.getprevious() is not None:
        del elem.getparent()[0]

df = pd.DataFrame(records)

方法二：结合XPath与read_xml（适合内存可承受的场景）

如果内存足够容纳整个文件，可先用read_xml读取主节点，再手动解析多子元素列：

import pandas as pd

# 替换"//your-main-node"为对应主节点的XPath
df = pd.read_xml("abc.xml", xpath="//your-main-node")

# 处理actor-interactions列
df["actor-interactions"] = df["actor-interactions"].apply(
    lambda x: [child.text for child in x.findall("actor-interaction")] if x is not None else None
)

# 处理external-identifiers列
df["external-identifiers"] = df["external-identifiers"].apply(
    lambda x: [child.text for child in x.findall("external-identifier")] if x is not None else None
)

# 同理处理sequence、producer-interactions列

注意事项 #

• 务必将代码中的your-main-node替换为XML中每条数据的根节点标签，比如XML结构为<dataset><item>...</item></dataset>时，主节点是item
• 若XML包含命名空间，需在iterparse或read_xml中指定namespaces参数，XPath也要对应加上命名空间前缀（如//ns:your-main-node）

内容的提问来源于stack exchange，提问作者Luffy