如何用Python查找多XML文件重复项并合并至最大文件

下面是用ElementTree实现你的需求的完整方案，完全保留XML结构，高效处理跨文件去重和合并：

1. 核心逻辑 #

• 先通过os.path.getsize()确定体积最大的目标合并文件
• 用字典建立零件ID与<app>元素的映射，确保重复ID仅保留目标文件中的实例
• 将其他文件中未在目标文件出现的唯一<app>元素追加到目标文件，最终保存

2. 完整代码实现 #

假设你的XML结构示例如下（请根据实际结构调整代码中的标签路径）：

<root>
  <app>
    <part_id>1001</part_id>
    <name>gear</name>
    <!-- 其他子标签/属性 -->
  </app>
</root>

代码：

import os
import xml.etree.ElementTree as ET

# 替换为你的三个XML文件路径
xml_files = ["file_a.xml", "file_b.xml", "file_c.xml"]

# 步骤1：筛选体积最大的目标文件
target_file = max(xml_files, key=lambda f: os.path.getsize(f))

# 步骤2：遍历所有文件，收集<app>元素并去重
app_map = {}
for file_path in xml_files:
    tree = ET.parse(file_path)
    root = tree.getroot()
    # 遍历所有<app>标签，提取零件ID（需根据你的XML结构调整）
    for app in root.findall("app"):
        # 示例：如果零件ID是<app>下的<part_id>子标签文本
        part_id = app.find("part_id").text.strip()
        # 示例：如果零件ID是<app>的id属性，改用下方代码
        # part_id = app.get("id")
        
        # 优先保留目标文件的元素，非目标文件仅在ID未存在时存储
        if part_id not in app_map or file_path == target_file:
            app_map[part_id] = app

# 步骤3：更新目标文件内容
target_tree = ET.parse(target_file)
target_root = target_tree.getroot()

# 清空目标文件原有<app>元素（避免重复写入）
for app in target_root.findall("app"):
    target_root.remove(app)

# 将去重后的所有<app>追加到目标根节点
for app in app_map.values():
    target_root.append(app)

# 步骤4：保存合并结果（可指定新路径避免覆盖原文件）
target_tree.write("merged_result.xml", encoding="utf-8", xml_declaration=True)

3. 关键细节说明 #

• 零件ID提取适配：代码中零件ID的提取逻辑需根据你的实际XML结构调整——如果ID是<app>的属性，改用app.get("属性名")；如果是嵌套子标签，调整find()的路径
• 重复项优先级：严格保留体积最大文件中的重复ID实例，其他文件的重复项自动忽略，保证目标文件原始数据不被覆盖
• 结构完整性：直接操作ElementTree的元素对象，完全保留XML的嵌套标签、属性、文本格式，避免pandas转XML时的结构丢失问题
• 文件保存选项：若不想覆盖原目标文件，修改write()的路径参数即可

关于pandas尝试的补充说明 #

pandas的to_xml()仅适合结构简单的表格型XML，当XML存在嵌套标签、复杂属性时，会强制扁平化结构或丢失原始层级，因此对于需要完整保留XML结构的场景，ElementTree原生操作是更可靠的选择。

内容的提问来源于stack exchange，提问作者Kevin Agbulos