eXist-db CLI批量导入大量Zip文件的自动化工作流需求

针对手动处理数百个Zip包耗时过长的问题，以下是几种实用的自动化实现方案：

1. Shell脚本批量调用eXist CLI #

eXist-db的CLI客户端支持非交互式执行命令，无需进入交互模式。你可以编写bash脚本遍历所有Zip文件，逐个执行putzip命令，确保每个包导入并完成索引后再处理下一个。

示例脚本：

#!/bin/bash

# 配置参数
EXIST_CLIENT="/path/to/eXist-db/bin/client.sh"
TARGET_COLLECTION="/db/collection"
ZIP_ROOT="/home/user/data"

# 遍历所有子目录下的Zip文件
find "$ZIP_ROOT" -name "*.zip" | sort | while read -r zip_file; do
    echo "开始处理: $zip_file"
    # 非交互式执行putzip命令
    "$EXIST_CLIENT" --no-gui -x "putzip \"$zip_file\" $TARGET_COLLECTION"
    # 检查命令执行状态
    if [ $? -eq 0 ]; then
        echo "$zip_file 处理完成"
    else
        echo "$zip_file 处理失败" >> import_errors.log
    fi
done

• 给脚本添加执行权限：chmod +x import_zips.sh
• 运行脚本：./import_zips.sh

2. 用XQuery脚本在eXist内部处理 #

利用eXist-db内置的XQuery函数，可直接在服务器端遍历Zip文件、解压并导入XML，无需依赖外部CLI。

示例XQuery脚本（保存为import-zips.xq）：

xquery version "3.1";

declare namespace xmldb="http://exist-db.org/xquery/xmldb";

let $target-collection := "/db/collection"
let $zip-dir := "/home/user/data"
let $zip-files := file:list($zip-dir, true(), "*.zip")

for $zip-path in $zip-files
let $zip-file := file:path-to-file($zip-path)
let $zip-entries := fn:unzip($zip-file, true())  <!-- 获取Zip内所有条目 -->
for $entry in $zip-entries
where not(fn:ends-with($entry/name(), "/"))  <!-- 跳过目录条目 -->
let $xml-content := fn:unzip($zip-file, false(), $entry/name())  <!-- 读取文件内容 -->
let $doc-name := fn:replace($entry/name(), ".*/", "")  <!-- 提取文件名 -->
return
    xmldb:store($target-collection, $doc-name, $xml-content)

通过CLI执行该脚本：

eXist-db/bin/client.sh --no-gui -m /path/to/import-zips.xq

3. 优化索引以加速导入 #

手动处理时的长等待时间主要来自索引构建，你可以临时调整索引配置提升效率：

• 暂时禁用非必要的索引（比如全文索引、范围索引），修改目标集合的collection.xconf配置文件，将索引设置为lazy或直接注释掉非必需项。
• 所有Zip包导入完成后，再重新启用索引并执行全量重建：

eXist-db/bin/client.sh --no-gui -x "xmldb:rebuild-index('/db/collection')"

额外注意事项 #

• 监控eXist-db的内存和CPU使用，避免因批量处理导致资源耗尽；
• 脚本中加入日志记录，方便追踪处理进度和失败的文件；
• 如果Zip文件数量极大，可以拆分脚本分批次处理，比如每次处理20个文件后暂停5分钟。

内容的提问来源于stack exchange，提问作者Lokno