使用Upsert后集合行数统计异常，如何获取实际有效行数？

原因分析 #

你遇到的情况是向量数据库（如Milvus）的逻辑删除机制导致的：

• Upsert操作本质是先标记主键冲突的旧数据为「删除状态」，再插入新数据，并不会立刻物理删除旧数据。
• collection.num_entities、get_collection_stats的row_count以及直接用count(*)查询，统计的是集合中所有实体的总数（包括已被标记删除的旧数据），所以会出现46000的结果。
• 而collection.query默认会自动过滤掉已标记删除的实体，所以查询id时只会返回7000条唯一有效数据，搜索或普通查询也看不到重复行。

解决方法 #

要获取排除已删除行的实际有效行数，可以用以下几种方式：

• 利用数据库的实时统计字段：如果使用的是Milvus这类数据库，get_collection_stats返回结果里的live_row_count字段就是过滤删除后的有效行数，替换原来的row_count即可：

  num_entities = client.get_collection_stats(collection_name)["live_row_count"]
  print(f"实际有效实体数: {num_entities}")
  

• 带过滤条件的count查询：在query中指定过滤条件（确保只包含有效数据），同时统计数量：

  result = collection.query(expr="id != ''", output_fields=["count(*)"])
  actual_count = result[0][0]
  print(f"实际有效实体数: {actual_count}")
  

  若数据库支持直接过滤删除状态，也可以用更精准的条件，比如expr="is_deleted == false"（具体字段名依数据库而定）。
• 统计有效id的数量：如果上述方式不可行，也可以通过查询所有有效id后统计长度（数据量大时不推荐，会占用较多资源）：

  query_result = collection.query(expr="id != ''", output_fields=["id"])
  actual_count = len(query_result[0])
  print(f"实际有效实体数: {actual_count}")
  

内容的提问来源于stack exchange，提问作者Qi Xiang