MarkLogic 8.0-8中xdmp:document-filter()性能优化问询

我在MarkLogic 8环境里处理过类似的PDF过滤性能问题，结合实践经验给你几个实用的优化方向和替代方案：

一、优化现有xdmp:document-filter()的使用 #

• 缩小提取范围：你当前传入第二个参数为()，会触发默认的全量提取（包含元数据、文档结构、文本等所有内容）。如果只需要文本内容，明确指定提取选项可以大幅减少处理开销：

  xdmp:document-filter(
    $pdf-binary,
    <options xmlns="xdmp:document-filter">
      <extract-text>true</extract-text>
      <extract-metadata>false</extract-metadata>
      <extract-structure>false</extract-structure>
    </options>
  )
  

• 异步后台处理：如果REST API是同步响应模式，2秒的耗时会直接影响用户体验。可以把PDF过滤逻辑放到后台任务中，用xdmp:spawn或者MarkLogic的任务调度功能实现：先接收PDF和XML并返回成功响应，后台异步完成文本提取和XML插入操作。
• 调整服务器过滤配置：MarkLogic 8的文档过滤器基于Apache Tika，你可以尝试调整过滤进程的内存限制，避免内存不足导致的性能瓶颈。通过Admin API修改：

  admin:group-set-filter-memory-limit(admin:get-configuration(), admin:group-get-id($config, "Default"), 512)
  

  （注意修改后需要重启服务器生效）

二、使用更轻量的专用API替代 #

• xdmp:pdf-filter()专用过滤器：通用的xdmp:document-filter()需要兼容多种文档格式，而xdmp:pdf-filter()是专门针对PDF的轻量过滤器，省去了格式检测和多格式适配的额外开销，性能会显著提升。示例用法：

  xdmp:pdf-filter(
    $pdf-binary,
    <options xmlns="xdmp:pdf-filter">
      <extract-text>true</extract-text>
    </options>
  )
  

  你可以测试下这个函数的耗时，处理2MB文本PDF应该能压缩到1秒以内。
• REST API内置转换功能：MarkLogic 8的REST API支持上传时直接指定文本提取转换，无需自己手动调用过滤函数。比如上传PDF时添加参数transform=extract-text，服务器会自动返回提取的文本；你也可以自定义转换扩展，实现将PDF文本插入目标XML的逻辑，这种方式的处理逻辑经过服务器优化，比自定义代码更高效。

三、其他辅助优化手段 #

• 缓存重复处理的PDF：如果同一PDF会被多次处理，可以计算PDF二进制的哈希值（比如用xdmp:hash($pdf-binary)），将提取后的文本缓存到单独的文档中，下次处理先检查缓存，避免重复过滤。
• 考虑版本升级（如果可行）：MarkLogic 8的Tika版本相对老旧，后续版本（9及以上）对PDF解析性能做了大量优化，包括更新Tika版本、优化内存管理等。如果业务允许升级，这是解决性能问题的根本方案。

内容的提问来源于stack exchange，提问作者Dixit Singla