Deepsetai：Haystack数组类型元数据过滤问题咨询

问题说明 #

• 使用Haystack的Document Retriever进行元数据过滤时，in操作符仅支持元数据字段为字符串或数字类型（布尔类型未测试），例如以下文档可正常通过in操作符筛选：

{"content": "some content", "meta":{"field": "value b"}}

• 若元数据字段为列表类型（示例如下），现有操作符无法筛选出包含特定值（如"value a"）的文档：

{"content": "some content", "meta":{"field": ["value a", "value b"]}}

已知解决方案 #

目前针对该问题，Haystack社区讨论中提到几种可行处理方式：

• 预处理文档数据：将列表类型的元数据字段拆分为多个单值字段，或转换为用特定分隔符（如逗号）连接的字符串，之后使用in操作符配合处理后的内容完成过滤。此方式需提前处理数据，可能增加元数据复杂度。
• 自定义二次过滤：在Retriever返回检索结果后，添加自定义逻辑遍历文档，检查列表类型元数据是否包含目标值，手动筛选符合条件的文档。
• 等待官方功能更新：Haystack社区已关注到该需求，后续版本可能新增支持列表字段的过滤操作符（如contains），可留意官方版本迭代。

内容的提问来源于stack exchange，提问作者C0rn