合并XML文件并去除重复XNodes的技术实现咨询

没问题，这个XML合并去重的需求很常见，核心是要精准判断哪些Privilege节点算重复——按照你的描述，应该是同一个SecurityPrivilege（相同Principal）下，Type、AccessType属性和节点文本完全一致的Privilege才算重复项。下面我给你几种实用的实现方案，你可以根据自己熟悉的技术栈来选：

用C#（LINQ to XML）实现 #

C#的LINQ to XML是处理XML非常便捷的工具，代码可读性高，逻辑清晰：

using System;
using System.Linq;
using System.Xml.Linq;

class XmlMergeTool
{
    static void Main(string[] args)
    {
        // 加载两个输入XML文档
        var doc1 = XDocument.Load("input1.xml");
        var doc2 = XDocument.Load("input2.xml");
        var root = doc1.Root;

        // 遍历第二个文档的所有SecurityPrivilege节点
        foreach (var secPrivNode in doc2.Descendants("SecurityPrivilege"))
        {
            string principal = secPrivNode.Attribute("Principal").Value;
            // 查找第一个文档中对应的Principal节点，不存在则直接添加
            var existingSecPriv = root.Descendants("SecurityPrivilege")
                .FirstOrDefault(n => n.Attribute("Principal").Value == principal);

            if (existingSecPriv == null)
            {
                root.Add(secPrivNode);
                continue;
            }

            // 遍历当前SecurityPrivilege下的Privilege，去重添加
            foreach (var priv in secPrivNode.Descendants("Privilege"))
            {
                string type = priv.Attribute("Type").Value;
                string accessType = priv.Attribute("AccessType").Value;
                string path = priv.Value.Trim();

                // 检查是否已存在完全相同的Privilege
                bool isDuplicate = existingSecPriv.Descendants("Privilege")
                    .Any(p => p.Attribute("Type").Value == type
                             && p.Attribute("AccessType").Value == accessType
                             && p.Value.Trim() == path);

                if (!isDuplicate)
                {
                    existingSecPriv.Add(priv);
                }
            }
        }

        // 保存合并后的XML
        doc1.Save("merged_output.xml");
        Console.WriteLine("合并完成，重复Privilege节点已去除！");
    }
}

说明 #

• 先匹配相同Principal的SecurityPrivilege节点，避免跨用户去重
• 用Type、AccessType和节点文本（去空格）作为重复判断的唯一标识
• 不存在的SecurityPrivilege会直接添加到结果中

用Python实现 #

Python的xml.etree.ElementTree库可以轻松处理XML，适合脚本化场景：

import xml.etree.ElementTree as ET

def merge_and_deduplicate_xml(input1, input2, output):
    # 解析两个XML文件
    tree1 = ET.parse(input1)
    root1 = tree1.getroot()
    tree2 = ET.parse(input2)
    root2 = tree2.getroot()

    # 用字典存储已存在的Privilege，键为(Principal, Type, AccessType, Path)
    existing_privs = {}

    # 先收集第一个文档的所有Privilege信息
    for sec_priv in root1.findall('SecurityPrivilege'):
        principal = sec_priv.get('Principal')
        for priv in sec_priv.findall('Privilege'):
            priv_type = priv.get('Type')
            access_type = priv.get('AccessType')
            path = priv.text.strip() if priv.text else ""
            key = (principal, priv_type, access_type, path)
            existing_privs[key] = priv

    # 处理第二个文档的节点
    for sec_priv in root2.findall('SecurityPrivilege'):
        principal = sec_priv.get('Principal')
        # 找第一个文档中对应的SecurityPrivilege，没有则新建
        target_sec_priv = None
        for sp in root1.findall('SecurityPrivilege'):
            if sp.get('Principal') == principal:
                target_sec_priv = sp
                break
        if not target_sec_priv:
            target_sec_priv = ET.SubElement(root1, 'SecurityPrivilege', {'Principal': principal})

        # 添加不重复的Privilege
        for priv in sec_priv.findall('Privilege'):
            priv_type = priv.get('Type')
            access_type = priv.get('AccessType')
            path = priv.text.strip() if priv.text else ""
            key = (principal, priv_type, access_type, path)
            if key not in existing_privs:
                target_sec_priv.append(priv)
                existing_privs[key] = priv

    # 保存结果，保留XML声明和缩进
    tree1.write(output, encoding='utf-8', xml_declaration=True)
    print(f"合并完成，结果已保存到 {output}")

# 调用示例
merge_and_deduplicate_xml('input1.xml', 'input2.xml', 'merged_output.xml')

说明 #

• 用字典的唯一性来过滤重复项，效率较高
• 处理了节点文本为空的边界情况
• 自动创建不存在的SecurityPrivilege节点

用XSLT（纯XML转换）实现 #

如果你偏好纯XML工具链，XSLT是专门为XML转换设计的方案，无需编写编程语言代码：

创建merge_deduplicate.xslt文件：

<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
    <xsl:output method="xml" indent="yes" encoding="utf-8"/>

    <!-- 定义唯一键：组合Principal、Type、AccessType和标准化后的文本 -->
    <xsl:key name="uniquePrivilege" match="Privilege" 
             use="concat(../@Principal, '|', @Type, '|', @AccessType, '|', normalize-space(.))"/>

    <xsl:template match="/SecurityPrivileges">
        <SecurityPrivileges>
            <!-- 合并两个输入文档的所有SecurityPrivilege -->
            <xsl:for-each select="document('input1.xml')/SecurityPrivileges/SecurityPrivilege | document('input2.xml')/SecurityPrivileges/SecurityPrivilege">
                <xsl:variable name="currentPrincipal" select="@Principal"/>
                <SecurityPrivilege Principal="{$currentPrincipal}">
                    <!-- 只保留每个唯一组中的第一个Privilege -->
                    <xsl:for-each select="Privilege[generate-id() = generate-id(key('uniquePrivilege', concat($currentPrincipal, '|', @Type, '|', @AccessType, '|', normalize-space(.))))]">
                        <xsl:copy-of select="."/>
                    </xsl:for-each>
                </SecurityPrivilege>
            </xsl:for-each>
        </SecurityPrivileges>
    </xsl:template>
</xsl:stylesheet>

使用方式 #

用XSLT处理器（比如xsltproc或Saxon）执行转换：

xsltproc merge_deduplicate.xslt dummy.xml > merged_output.xml

（dummy.xml可以是任意一个输入XML，因为XSLT内部已经引用了input1.xml和input2.xml）

说明 #

• 用XSLT的key机制实现分组去重，符合XML处理的标准范式
• normalize-space()用于处理文本中的空格差异，确保"c:\log"和" c:\log "被视为相同

内容的提问来源于stack exchange，提问作者fota666