Manticore Search使用csvpipe/tsvpipe索引空数据集失败问题

我之前在维护Manticore（Sphinx分支）的main+delta索引架构时，也碰到过完全一样的问题——当delta数据源没有新增数据时，空TSV文件会触发Inappropriate ioctl for device的报错，导致索引任务失败。这里有几个经过验证的可行解决办法，你可以根据自己的场景选择：

方案一：修改数据源脚本，输出合法空行并过滤无效记录 #

这个思路是让脚本在无数据时输出一行符合TSV格式的空内容，再通过Manticore的过滤规则排除这条空记录，既避免了读取错误，又不会索引无效数据。

1. 修改get-delta.sh脚本：
   在脚本末尾添加判断逻辑，当没有新增数据时输出对应字段数的空行（你的配置里有content和mongoId两个字段，所以用制表符分隔空值）：

   #!/bin/bash
   # 你的原有数据获取逻辑，比如从MongoDB提取新增数据并转为TSV
   DELTA_CONTENT=$(mongo --quiet your_db --eval "..." | awk ...)
   
   if [ -z "$DELTA_CONTENT" ]; then
       # 输出符合格式的空行（两个字段，用制表符分隔）
       echo -e "\t"
   else
       echo "$DELTA_CONTENT"
   fi
   

2. 在Manticore配置中添加过滤规则：
   在postings_source_delta的source配置里，添加过滤条件排除空内容的记录：

   source postings_source_delta {
       type = tsvpipe
       tsvpipe_command = bash /opt/get-delta.sh 2>/var/log/manticore/delta_index_error.log
       tsvpipe_field = content
       tsvpipe_attr_string = mongoId
       # 过滤掉content为空的记录
       filter = content != ''
   }
   

方案二：启用TSV表头模式，无数据时仅输出表头 #

Manticore支持tsvpipe_header参数来识别TSV文件的表头行，当没有数据时，仅输出表头行就能让索引器正常读取（不会报错）且不索引任何数据。

1. 修改脚本输出表头：
   调整get-delta.sh，无论是否有数据都先输出表头，没有数据时只输出表头：

   #!/bin/bash
   DELTA_CONTENT=$(mongo --quiet your_db --eval "..." | awk ...)
   
   # 先输出表头
   echo -e "content\tmongoId"
   # 有数据时才输出内容
   if [ ! -z "$DELTA_CONTENT" ]; then
       echo "$DELTA_CONTENT"
   fi
   

2. 更新Manticore配置启用表头识别：
   在source配置中添加tsvpipe_header = 1：

   source postings_source_delta {
       type = tsvpipe
       tsvpipe_command = bash /opt/get-delta.sh 2>/var/log/manticore/delta_index_error.log
       tsvpipe_header = 1
       tsvpipe_field = content
       tsvpipe_attr_string = mongoId
   }
   

方案三：添加索引前置检查，无数据时跳过索引 #

这个方案是在调用索引器前先判断是否有新增数据，只有当数据存在时才执行索引操作，从根源上避免空文件的问题。

创建一个索引包装脚本run-delta-index.sh：

#!/bin/bash
# 创建临时文件存储delta数据
TEMP_TSV=$(mktemp)

# 生成delta数据到临时文件
bash /opt/get-delta.sh > "$TEMP_TSV" 2>/var/log/manticore/delta_index_error.log

# 检查临时文件是否非空
if [ -s "$TEMP_TSV" ]; then
    # 有数据，执行索引，临时覆盖tsvpipe的数据源为临时文件
    indexer --config /path/to/your/manticore.conf postings_index_delta --source tsvpipe_file="$TEMP_TSV"
else
    echo "$(date): No delta data available, skipping index update" >> /var/log/manticore/delta_index.log
fi

# 清理临时文件
rm "$TEMP_TSV"

之后用这个脚本代替直接调用indexer，就可以在无数据时跳过索引，避免报错。

方案四：升级Manticore到最新稳定版 #

部分旧版本的Manticore存在空TSV文件读取报错的bug，如果你使用的版本比较老，可以尝试升级到最新稳定版——新版本中已经修复了这个问题，当tsvpipe源输出为空时，索引器会正常跳过而不触发错误。

内容的提问来源于stack exchange，提问作者Gherman