Python如何将带CDATA的嵌套XML全量元素提取为pandas DataFrame

常见空值问题根因 #

之前解析出现大量None、单元格无内容的问题，基本是以下几个常见操作失误导致：

• 未处理XML命名空间：带正式税务命名空间的发票XML，直接写不带前缀的xpath路径会完全匹配不到节点，返回空结果
• 取值逻辑错误：直接取元素对象存入DataFrame，没有调用/text()取节点内的实际文本，导致存储的是无法识别的元素类型
• 路径层级错位：抓取detalles下的字段时使用全局绝对路径，没有相对于单个明细条目做匹配，出现跨条目取值、空值错位的问题

可落地实现步骤 #

1. 提前解析XML的命名空间映射
   从剥离CDATA后的XML根节点中提取nsmap属性，后续所有xpath查询都传入这个命名空间映射，避免匹配失效。
2. 逐明细条目遍历取值
   先定位detalles节点下的所有单个明细条目，对每个条目单独做字段提取，所有字段路径使用相对于当前条目的相对路径，不要直接全局抓取所有同名字段。
3. 容错处理空值
   每个字段提取时判断xpath返回的文本列表是否为空，不存在的字段直接赋值None，避免因索引空列表触发报错。

参考实现代码 #

import pandas as pd
from lxml import etree

def extract_detalles_to_df(xml_fragment_list):
    """
    :param xml_fragment_list: 已剥离CDATA的所有嵌套XML业务片段集合
    :return: 合并后的全量明细DataFrame
    """
    all_rows = []
    for xml_content in xml_fragment_list:
        root = etree.fromstring(xml_content)
        # 自动提取当前XML的命名空间映射
        ns_map = root.nsmap
        # 定位所有明细条目，xpath路径根据实际节点层级调整，带对应命名空间前缀
        detalle_items = root.xpath('//detalles/detalle', namespaces=ns_map)
        for item in detalle_items:
            # 逐字段取文本，加空值容错
            current_row = {
                # 注意xpath必须加/text()获取节点文本
                'item_code': item.xpath('./codigo/text()', namespaces=ns_map)[0] 
                    if item.xpath('./codigo/text()', namespaces=ns_map) else None,
                'item_desc': item.xpath('./descripcion/text()', namespaces=ns_map)[0] 
                    if item.xpath('./descripcion/text()', namespaces=ns_map) else None,
                'quantity': item.xpath('./cantidad/text()', namespaces=ns_map)[0] 
                    if item.xpath('./cantidad/text()', namespaces=ns_map) else None,
                'unit_price': item.xpath('./precioUnitario/text()', namespaces=ns_map)[0] 
                    if item.xpath('./precioUnitario/text()', namespaces=ns_map) else None,
                # 嵌套子节点同样用相对路径取
                'tax_rate': item.xpath('./impuestos/tarifa/text()', namespaces=ns_map)[0] 
                    if item.xpath('./impuestos/tarifa/text()', namespaces=ns_map) else None
            }
            all_rows.append(current_row)
    # 所有条目遍历完成后一次性生成DataFrame，避免频繁合并的性能损耗
    return pd.DataFrame(all_rows)

批量处理优化提示 #

• 数百份文件处理时，不要每解析完一份就合并一次DataFrame，把所有解析得到的行数据统一存入列表后一次性转表，处理效率会提升数倍
• 遇到字段结构不统一的特殊XML，可以遍历每个明细节点下的所有子元素，自动提取节点名和对应文本作为行字段，不用硬编码固定字段名，适配不同结构的发票文件

内容的提问来源于stack exchange，提问作者Gabriela Santos