如何使用CoRB将本地CSV文件加载到MarkLogic数据库指定集合中？

没问题，我来一步步带你搞定用CoRB把本地CSV导入MarkLogic指定集合这件事。先确保你已经备齐这些前置条件：

• 电脑上装了Java 8及以上版本（CoRB依赖Java运行环境）
• 下载了CoRB的jar包（通常是corb2.jar，找最新稳定版就行）
• MarkLogic数据库的操作账号有足够权限：至少要有文档插入/更新权限，以及对目标集合的读写权限
• 本地CSV文件路径清晰，格式尽量规范（第一行设为表头会让后续映射更方便）

1. 配置CoRB参数文件 #

先创建一个名为load-csv.properties的配置文件，把下面的参数根据你的实际情况修改：

# MarkLogic连接信息，替换成你的账号、密码、主机、端口和数据库名
XCC-CONNECTION-URI=xcc://your-username:your-password@your-host:8000/your-db-name
# 本地CSV文件的绝对路径，Windows用C:/xxx/xxx.csv，Linux/mac用/xxx/xxx.csv
INPUT-FILE-NAME=/absolute/path/to/your/local/data.csv
# 指定处理CSV的XQuery模块，这里用ADHOC表示直接加载本地模块
PROCESS-MODULE=./process-csv.xqy|ADHOC
# 要导入的目标集合名称，多个集合用逗号分隔
COLLECTION-NAMES=your-target-collection
# 批量处理的大小，默认100，可根据服务器性能调整
BATCH-SIZE=100
# 可选：错误日志路径，方便排查导入失败的问题
ERROR-FILE=/path/to/error-log.txt

2. 编写CSV转文档的XQuery处理模块 #

创建一个process-csv.xqy文件，用来把CSV的每一行转换成MarkLogic支持的文档（XML或JSON都可以，这里用JSON举例）：

xquery version "1.0-ml";

// CoRB会自动传入的外部变量：当前行内容、CSV表头
declare variable $row as xs:string external;
declare variable $headers as xs:string* external;
declare variable $COLLECTION-NAMES as xs:string* external;

// 处理CSV行：如果是带引号的标准CSV，建议用csv:parse更靠谱
let $parsed-data := csv:parse($row, map:entry("header", $headers))
// 生成唯一的文档URI，这里用随机数避免重复，也可以用CSV里的唯一ID字段
let $doc-uri := fn:concat("csv-import/", xdmp:random(999999), ".json")

// 将解析后的数据插入到指定集合
return xdmp:document-insert(
  $doc-uri,
  $parsed-data,
  xdmp:collection($COLLECTION-NAMES)
)

小贴士：如果你的CSV里有包含逗号的字段（比如"Doe, John"），一定要用csv:parse函数处理，手动拆分逗号会出错。

3. 执行CoRB导入命令 #

打开终端（或命令提示符），切换到corb2.jar、配置文件和XQuery模块所在的目录，运行下面的命令：

java -jar corb2.jar -config load-csv.properties

Windows系统的命令和这个一样，只要Java环境变量配置正确就能运行。

4. 验证导入结果 #

登录MarkLogic的Query Console，执行下面的查询，就能看到目标集合里的导入数据了：

xquery version "1.0-ml";
// 替换成你的目标集合名称
fn:collection("your-target-collection")

一些实用的注意事项 #

• 大文件优化：如果CSV文件特别大，可以在配置文件里加THREAD-COUNT=4（根据服务器CPU核心数调整），开启多线程处理提升速度。
• 文档URI优化：不要一直用随机数生成URI，最好用CSV里的唯一标识字段（比如用户ID、订单号），这样后续查找和更新更方便，比如fn:concat("csv-import/", $parsed-data?user-id, ".json")。
• 权限排查：如果出现权限错误，检查MarkLogic账号的角色，确保添加了xdmp-document-insert权限，并且目标集合的权限设置正确。

内容的提问来源于stack exchange，提问作者Gotham Knight