如何用Node.js原生http模块实现AWS OpenSearch批量插入？

核心错误点及修正步骤： #

• ndjson格式错误：
  ndjson要求每行一个独立JSON对象，无逗号分隔，你的代码里每个JSON末尾加了逗号，这会直接导致OpenSearch解析失败。正确格式应为操作元数据和文档数据各占一行，无多余标点。
• 错误序列化请求体：
  你调用JSON.stringify(body)把拼接好的字符串再次转成JSON格式，导致发送内容被额外包裹引号，完全不符合ndjson规范。需直接发送修正后的ndjson字符串。
• Content-Length计算错误：
  你计算的是JSON.stringify(body)的字节长度，但实际发送内容与该长度不匹配，应直接计算修正后ndjson字符串的字节长度。
• host参数格式错误：
  host字段不能包含http://前缀，仅需填写纯域名，否则请求会发送到错误地址。
• 未捕获错误响应体：
  400错误时直接reject，未读取OpenSearch返回的错误详情，无法排查具体问题，需在错误状态码时读取响应体获取错误信息。
• 冗余headers配置：
  headers里的region是多余的，options中已配置该字段，无需重复添加。

修正后的完整代码： #

const https = require('https');

const body = `{"index": {"_index": "test_index", "_id": "tt1979320"}}
{"title": "Rush", "year": 2013}
{"create": {"_index": "test_index", "_id": "tt1392214"}}
{"title": "Prisoners", "year": 2013}`;

return new Promise((resolve, reject) => {
    const options = {
        host: 'test.us-east-1.es.amazonaws.com', // 移除http://前缀
        path: '/_bulk', // 无需重复写索引，操作元数据已指定_index
        method: 'POST',
        port: 443,
        region: 'us-east-1',
        headers: {
            'Content-Type': 'application/x-ndjson',
            'Content-Length': Buffer.byteLength(body), // 直接计算目标字符串字节长度
            'Authorization': AUTH
        }
    };

    const req = https.request(options, (res) => {
        let resbody = [];
        res.on('data', (chunk) => {
            resbody.push(chunk);
        });
        res.on('end', () => {
            const response = Buffer.concat(resbody).toString();
            if (res.statusCode < 200 || res.statusCode >= 300) {
                // 解析错误响应体，获取具体报错信息
                return reject(new Error(`statusCode=${res.statusCode}, error=${response}`));
            }
            resolve(response);
        });
    });

    req.on('error', (e) => {
        console.log("请求出错", e);
        reject(e.message);
    });

    req.write(body); // 直接发送ndjson字符串，无需额外序列化
    req.end();
});

额外说明： #

• /_bulk路径无需前置索引名，每个操作的元数据已通过_index指定目标索引，更灵活。
• 确保AUTH变量是正确的AWS签名（如使用aws4库生成），签名错误也会导致400或403错误。
• 测试时可先打印body内容，确认是标准ndjson格式（每行一个JSON，无逗号）。

内容的提问来源于stack exchange，提问作者Karthika V Kannan