MLCP加载压缩XML文件时如何跳过含特定标签/值的记录？

关于MLCP加载XML时过滤特定记录的问题 #

首先直接给结论：MLCP本身并没有提供直接的命令行参数来忽略包含特定XML标签或值的记录，不过我们有几个实用的替代方案可以实现这个需求，结合你当前的加载场景（Gzip压缩XML、拆分聚合记录），我整理了下面几个可行的方法：

1. 预处理XML文件（推荐用于批量大文件）

在使用MLCP加载之前，先对Gzip压缩的XML文件进行预处理，过滤掉不需要的记录。你可以用脚本语言或者命令行工具来完成：

• 如果你用Python，可以先解压Gzip文件，然后用xml.etree.ElementTree遍历XML结构，跳过包含目标标签或值的记录，最后将过滤后的XML重新压缩成Gzip格式，再用你的MLCP命令加载。
• 命令行工具的话，比如用gzip -d解压后，结合sed或awk做简单的标签过滤（适合结构简单的XML），再重新压缩。

举个Python的简单示例逻辑：

import gzip
import xml.etree.ElementTree as ET

with gzip.open('input.xml.gz', 'rb') as f_in:
    tree = ET.parse(f_in)
    root = tree.getroot()
    
    # 过滤掉包含<invalid_tag>或值为"invalid_value"的子节点
    for child in list(root):
        if child.find('invalid_tag') is not None or child.find('value').text == 'invalid_value':
            root.remove(child)
    
    with gzip.open('filtered_input.xml.gz', 'wb') as f_out:
        tree.write(f_out, encoding='utf-8')

2. 使用MLCP的Transform功能（加载时实时过滤）

MLCP支持在加载过程中通过XQuery或JavaScript模块对记录进行转换，我们可以利用这个功能实现过滤：

• 写一个XQuery转换模块，检查每条待导入的XML记录，如果包含特定标签或值，就返回空（MLCP会自动跳过这条记录）。
• 在你的MLCP命令中添加-transform_module参数指定这个模块。

示例XQuery过滤模块（filter-records.xqy）：

xquery version "1.0-ml";
declare variable $node as node() external;

// 过滤条件：跳过包含<blocked_tag>的记录，或者value字段等于"ignore_me"的记录
if ($node//blocked_tag or $node//value/text() = "ignore_me") then
    ()
else
    $node

然后修改你的MLCP命令，加上：

-transform_module /path/to/filter-records.xqy

3. 加载后批量删除（适合小数据量场景）

如果你的数据量不大，可以先正常用MLCP导入所有记录，然后通过MarkLogic的查询功能批量删除不符合要求的文档：

• 用XQuery执行批量删除，比如：

xquery version "1.0-ml";
xdmp:delete(
    cts:search(
        fn:doc(),
        cts:or-query((
            cts:element-query(xs:QName("blocked_tag"), cts:wildcard-query("*")),
            cts:element-value-query(xs:QName("value"), "ignore_me")
        ))
    )
)

你可以在Query Console里执行这个脚本，或者用MLCP的eval命令来运行。

内容的提问来源于stack exchange，提问作者Ravi