如何在Chroma中实现基于逗号分隔多ID字符串的元数据过滤

我之前也碰到过类似的问题，Chroma的元数据过滤默认只支持精确匹配类操作（比如$eq、$in），直接处理逗号分隔的字符串确实有点棘手，给你两个可行的方案，你可以根据自身情况选择：

方案一：修改元数据结构（最优解） #

如果你的数据还没大量插入，或者可以重新导入，把userids从逗号分隔的字符串改成数组类型是最省心的办法——Chroma天然支持对数组类型的元数据做包含匹配，完全适配你的需求。

示例代码： #

1. 插入数据时调整元数据格式：

from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings

# 将原来的逗号分隔字符串转为数组
sample_docs = [
    {
        "page_content": "GitHub Pull Requests 相关数据内容...",
        "metadata": {
            "userids": ['217cdc91-dssd-fasd', '3850d-sdsw-150', '217cdc91-dssd-fasd'],
            "created": 1725908639288,
            "description": 'GitHub Pull Requests data',
        }
    }
]

# 初始化Chroma并插入调整后的数据
embeddings = OpenAIEmbeddings()
db = Chroma.from_documents(sample_docs, embeddings)

2. 查询时直接用$in或$eq匹配：

target_id = "3850d-sdsw-150"

# 方式1：用$in匹配（支持同时传入多个目标ID）
matched_results = db.query(
    query_texts=["你的查询文本"],
    where={"userids": {"$in": [target_id]}},
    k=10
)

# 方式2：用$eq直接匹配（数组字段会自动检查是否包含该值）
matched_results = db.query(
    query_texts=["你的查询文本"],
    where={"userids": {"$eq": target_id}},
    k=10
)

这种方式效率最高，也是官方推荐的元数据结构设计思路，后续维护和扩展也更方便。

方案二：后置过滤（适用于已无法修改元数据的场景） #

如果你的数据已经大量导入，没法重新调整结构，那可以先通过宽泛条件把数据查出来，再在本地代码里自己做过滤：

示例代码： #

target_id = "3850d-sdsw-150"

# 先查询范围数据（可搭配其他元数据条件缩小结果集，比如按created时间范围）
raw_results = db.query(
    query_texts=["你的查询文本"],
    # 这里可以添加其他过滤条件，比如按description匹配
    k=100  # 设一个足够大的数值确保不会遗漏目标数据
)

# 本地过滤：解析userids字符串，检查目标ID是否存在
filtered_results = []
for doc_content, doc_meta in zip(raw_results["documents"][0], raw_results["metadatas"][0]):
    # 分割字符串（注意原数据是逗号加空格分隔，所以用', '分割）
    user_id_list = doc_meta["userids"].split(', ')
    if target_id in user_id_list:
        filtered_results.append({
            "content": doc_content,
            "metadata": doc_meta
        })

print(f"共找到{len(filtered_results)}条匹配文档")

这种方式的缺点是如果结果集过大，会增加本地计算量，但对于已有的存量数据是可行的临时解决方案。

为什么直接用字符串匹配不行？ #

Chroma的元数据过滤是精确匹配逻辑：

• 用$eq的话，会要求整个userids字符串和目标ID完全一致，显然不符合你的需求；
• 用$in的话，是检查整个字符串是否在你提供的列表中，而不是检查字符串内部是否包含某个子串，所以也无法生效。

备注：内容来源于stack exchange，提问作者Venkatesan M