使用ElementTree解析XML导入pandas时处理属性命名空间问题

核心问题对应处理逻辑 #

• 属性带命名空间URI问题：直接通过ElementTree标准的{命名空间全路径}属性名格式从attrib字典取值，无需做字符串截断替换，稳定性更高
• 多contributor拆行：遍历所有aixm:theAirspace节点，每个节点生成一条独立记录存入结果列表，无关联节点时补空值保留主记录
• xlink:href裁剪：单次分割提取urn:uuid:后的内容，兼容无合法前缀的异常值
• 大文件内存优化：使用iterparse逐节点解析，处理完单个Airspace节点后立即清空元素释放内存

完整实现代码 #

import xml.etree.ElementTree as ET
import pandas as pd

# 命名空间映射，与你现有配置保持一致即可
NS = {
    "adrmsg": "http://www.aixm.aero/schema/5.1.1/message",
    "gml": "http://www.opengis.net/gml/3.2",
    "adrext": "http://www.aixm.aero/schema/5.1.1/extensions/EUR/ADR",
    "aixm": "http://www.aixm.aero/schema/5.1.1",
    "xlink": "http://www.w3.org/1999/xlink"
}

def parse_aixm_airspace(xml_path: str) -> pd.DataFrame:
    result = []
    # 迭代解析，适配大体积文件，避免全量加载内存溢出
    context = ET.iterparse(xml_path, events=("end",))
    for event, elem in context:
        # 匹配目标Airspace节点
        if elem.tag != f"{{{NS['aixm']}}}Airspace":
            continue
        
        # 提取主级固定字段
        airspace_uuid = elem.findtext("gml:identifier", namespaces=NS)
        time_slice = elem.find("aixm:AirspaceTimeSlice", namespaces=NS)
        if time_slice is None:
            elem.clear()
            continue
        
        # 提取TimeSlice下的字段与带命名空间的属性
        ts_gml_id = time_slice.attrib.get(f"{{{NS['gml']}}}id")
        airspace_type = time_slice.findtext("aixm:type", namespaces=NS)
        airspace_name = time_slice.findtext("aixm:name", namespaces=NS)
        airspace_designator = time_slice.findtext("aixm:designator", namespaces=NS)

        # 处理所有关联空域
        contributor_nodes = time_slice.findall("aixm:theAirspace", namespaces=NS)
        # 无关联空域时保留主记录，contributor字段置空
        if not contributor_nodes:
            result.append({
                "airspace_uuid": airspace_uuid,
                "time_slice_gml_id": ts_gml_id,
                "airspace_type": airspace_type,
                "airspace_name": airspace_name,
                "airspace_designator": airspace_designator,
                "contributor_airspace_uuid": None
            })
        else:
            # 每个关联空域单独生成一行记录
            for node in contributor_nodes:
                href_val = node.attrib.get(f"{{{NS['xlink']}}}href", "")
                # 提取纯UUID
                if href_val.startswith("urn:uuid:"):
                    contrib_uuid = href_val.split("urn:uuid:", 1)[1]
                else:
                    contrib_uuid = href_val
                result.append({
                    "airspace_uuid": airspace_uuid,
                    "time_slice_gml_id": ts_gml_id,
                    "airspace_type": airspace_type,
                    "airspace_name": airspace_name,
                    "airspace_designator": airspace_designator,
                    "contributor_airspace_uuid": contrib_uuid
                })
        # 清空已处理节点，释放内存
        elem.clear()
    
    return pd.DataFrame(result)

# 调用示例
if __name__ == "__main__":
    df = parse_aixm_airspace("your_airspace_data.xml")
    print(df.head())

注意事项 #

• 不要通过遍历attrib字典后替换命名空间字符串的方式取属性值，一旦XML中命名空间前缀写法调整（比如gml命名空间前缀被改成gml32），字符串替换逻辑会直接失效，使用{URI}属性名的标准写法不受前缀变化影响
• 若你的XML文件体积小于100M，也可以替换为常规ET.parse()写法直接加载全量树，逻辑一致，只是内存占用更高
• 若需要校验UUID格式，可以在提取后增加正则校验逻辑，过滤非法值

内容的提问来源于stack exchange，提问作者setan0