使用opensearch-py批量索引AWS OpenSearch报错illegal_argument_exception求助

错误原因 #

报错提示明确说明：批量操作中不允许在每个文档条目里显式指定索引（即_index字段），你当前的批量文档格式包含_index字段，触发了服务端的限制规则。

解决方案 #

方法1：移除文档中的_index字段，通过bulk函数统一指定索引 #

无需修改format_embeddings_for_es_indexing函数，调用批量操作前先移除每个文档的_index字段，再通过bulk的index参数统一指定目标索引：

from opensearchpy.helpers import bulk

# 预处理文档，移除多余的_index字段
processed_docs = []
for doc in format_embeddings_for_es_indexing(embd_data, titles_, _INDEX_):
    doc.pop('_index', None)
    processed_docs.append(doc)

# 调用bulk时通过index参数全局指定索引
bulk(client, processed_docs, index=_INDEX_)

方法2：调整format_embeddings_for_es_indexing函数的返回格式 #

直接修改生成文档的函数，让它返回的内容不再包含_index字段，只保留_id和_source：

# 修改后函数返回的文档示例
{
'_id': '208387',
'_source': {
    'article_id': '208387',
    'title': 'Battery and Performance',
    'title_vector': [ 1.77665558e-02,  1.95874255e-02,.....],
    ......
    }
}

之后直接调用bulk并指定全局索引即可：

bulk(client, format_embeddings_for_es_indexing(embd_data, titles_, _INDEX_), index=_INDEX_)

验证逻辑 #

你逐条索引成功的原因是client.index()方法将index作为独立参数传入，而非嵌入文档内容中——这和批量操作的要求一致：批量场景下需通过全局参数指定索引，而非每个文档单独声明。

内容的提问来源于stack exchange，提问作者Shijith