Weaviate批量删除因单个ID映射失败报错

问题背景 #

执行带_creationTimeUnix过滤器的批量删除请求时，收到报错：

batch delete objects: cannot find objects: finding matching doc ids in shard "xxxxxx": could not get uuid from doc_id=xxxxx

删除请求示例：

curl -XDELETE -H "content-type:application/json" $weaviateUrl/v1/batch/objects -d '{"match": {"class":"ClassName", "where":{"operator":"LessThanEqual", "path":["_creationTimeUnix"], "valueText":"1705519625249"}},"dryRun":false}'

当前使用Weaviate 1.23.1版本，单个ID映射失败会导致整个批量删除任务终止。

1. 是否可以让批量删除在返回错误的同时，仍执行成功匹配的ID？ #

在Weaviate 1.23.1版本中不行。该版本的批量删除逻辑在检测到单个ID映射失败时，会直接终止整个任务，不会继续执行其他匹配成功的ID删除操作。

如果需要实现“跳过失败ID、执行成功匹配项”的逻辑，可采用替代方案：

• 先通过/v1/graphql或/v1/objects接口查询出符合_creationTimeUnix过滤条件的所有有效对象UUID；
• 将UUID列表分批，通过按ID列表删除的批量接口执行删除，对每一批请求单独处理失败项，跳过无效UUID后重新执行剩余项。

2. ID映射失败的原因是什么？是索引阶段的问题还是仅为查询阶段的问题？ #

这种报错的核心是内部shard中的doc_id与UUID的映射关系丢失或损坏，大概率是索引阶段的问题，而非单纯查询阶段的问题：

• Weaviate的shard中，doc_id是内部存储的文档标识，需要映射到用户可见的UUID才能定位对象；
• 映射关系损坏的常见场景：shard在写入、更新或合并过程中出现异常（如节点崩溃、磁盘故障），导致索引元数据损坏；或对象被手动删除后，索引中的映射记录未被正确清理；
• 仅查询阶段出现问题的可能性极低，因为该报错直接指向映射数据的缺失，而非查询逻辑错误。

内容的提问来源于stack exchange，提问作者sk9