Milvus经watsonx.data UDI插入成功但查询无结果问题排查

问题背景 #

通过watsonx.data UDI管道的原生Milvus块向Milvus插入数据时，插入操作返回成功（success_rows_count>0，num_entities已更新），调用flush()和load()后，get_query_segment_info()显示存在包含11条数据的Sealed段，但执行col.query(expr="", limit=10)返回空结果。

通过PyMilvus API直接插入相同类型数据时，数据可正常查询。

集合架构 #

pk: VARCHAR, primary key, max_length: 65535
document_id: VARCHAR, max_length: 65535
document_name: VARCHAR, max_length: 65535
vector_embeddings: FLOAT_VECTOR, dim: 1024
sparse_embeddings: SPARSE_FLOAT_VECTOR
text: VARCHAR, max_length: 65535, enable_analyzer: true

调试代码 #

from pymilvus import Collection, utility

col = Collection("marcollection")

utility.flush(["marcollection"])
col.load()

print("Segments:", utility.get_query_segment_info("marcollection"))
print("Query all:", col.query(expr="", limit=10))

调试输出 #

Segments: [
  segmentID: 465772623705405404
  collectionID: 465772623705404042
  partitionID: 465772623705404043
  num_rows: 11
  state: Sealed
  nodeIds: 1
  level: L1
  is_sorted: true
]

Query all: data: [], extra_info: {}

疑问与解答 #

1. 哪些情况会导致Milvus显示有数据的Sealed段，但查询无结果？ #

• 数据格式不合法：插入的数据不符合集合字段定义（比如向量维度不匹配、稀疏向量格式错误、主键为空或不符合约束），Milvus可能将这类数据标记为"存在"但不纳入查询范围。
• 分区加载问题：虽调用col.load()，但数据写入了未加载的分区，查询时无法访问，可检查partitionID对应分区是否已加载。
• 段数据损坏：Sealed段生成过程中出现IO错误或写入中断，导致数据无法被解析。
• 查询逻辑隐性失效：部分Milvus版本中expr=""可能被解析为过滤所有数据，或存在默认隐性过滤条件（如空值过滤）。
• 版本兼容性问题：UDI管道使用的Milvus客户端版本与服务端不匹配，导致数据写入格式不兼容。

2. 是否因UDI管道发送格式错误/不完整的字段值（如主键或稀疏向量）导致？ #

大概率是这个原因，对比PyMilvus的成功案例，UDI管道可能存在以下问题：

• 稀疏向量格式错误：Sparse Float Vector要求特定键值对格式（如{"indices": [1,3], "values": [0.5, 0.8]}），若UDI发送普通数组或格式错误结构，Milvus会接收但无法索引查询。
• 主键为空或重复：插入返回成功，但主键为空/重复的记录可能被静默丢弃，仅在段计数中保留，不参与查询。
• 向量维度不匹配：vector_embeddings要求1024维，若UDI发送维度不符的向量，数据会被标记为无效。
• 文本字段解析失败：text字段开启enable_analyzer，若发送的文本包含无法解析的特殊字符，可能导致数据无法被索引。

3. 如何检查Sealed段内的数据是否有效可查询？ #

• 用Milvus CLI查询段详情：执行milvus_cli命令describe segment -s <segmentID>，查看段内数据的统计信息和有效性标记。
• 导出段数据：使用Milvus的dump工具导出指定段的数据，直接检查字段值是否符合集合定义。
• 针对单个字段查询：尝试指定具体字段的查询条件，比如col.query(expr="pk != ''", limit=10)，排查是否存在空主键或无效字段值。
• 查看Milvus日志：检查data node和query node的日志，查找数据解析错误、索引失败的相关报错。

4. 该问题是Milvus侧的可见性/查询问题，还是UDI管道误报插入成功但数据未以有效形式写入？ #

更倾向于UDI管道误报插入成功，数据未以有效形式写入，理由：

• PyMilvus直接插入相同类型数据可正常查询，排除Milvus服务端基础功能问题。
• Sealed段的num_rows仅代表写入的记录数，不保证每条记录符合查询条件或格式合法。
• 插入成功的返回值仅代表数据被Milvus接收，不代表已被成功解析和索引。UDI管道可能未校验数据格式就发送，导致Milvus接收后无法处理。

内容的提问来源于stack exchange，提问作者Priya Singh