Node.js环境下如何连接Lambda向Elasticsearch数据存储PUT数据

前置校验 #

• 确认Elasticsearch实例可被Lambda访问：如果是AWS托管的Elasticsearch（OpenSearch），确认二者在同一个VPC，或ES配置了公网访问且安全组放通了Lambda的出站权限；如果是自建ES，确认实例地址可被公网/ Lambda所在网络访问。
• 确认Elasticsearch版本对应的HTTP接口规范无差异。

第一步：配置Lambda执行角色权限 #

仅AWS托管ES/OpenSearch需要该配置，自建ES可跳过本步骤，直接在代码里填写ES的账号密码即可。
给Lambda的执行角色添加如下权限策略，放行ES的PUT操作权限：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "es:ESHttpPut"
            ],
            "Resource": "arn:aws:es:<你的区域>:<你的账号ID>:domain/<你的ES域名>/*"
        }
    ]
}

第二步：编写Lambda PUT数据代码 #

以下为Python环境的示例代码，其他语言可参考逻辑调用对应HTTP客户端实现：

1. 依赖准备：将requests、requests_aws4auth包打包上传到Lambda层，或直接使用Python内置的urllib模块实现HTTP请求。
2. 代码示例：

import json
import requests
from requests_aws4auth import AWS4Auth
import boto3

# 替换为你自己的配置
ES_ENDPOINT = "https://<你的ES实例访问域名>"
REGION = "<ES实例所在区域>"
INDEX_NAME = "<要写入的目标索引名>"

# AWS签名逻辑，仅AWS托管ES/OpenSearch需要，自建ES可删除本段
credentials = boto3.Session().get_credentials()
awsauth = AWS4Auth(credentials.access_key, credentials.secret_key, REGION, 'es', session_token=credentials.token)

def lambda_handler(event, context):
    # 写入的文档数据，可按需从event参数中获取传入的动态数据
    document = {
        "title": "示例数据",
        "content": "Lambda写入ES的测试内容",
        "timestamp": "2024-01-01T00:00:00Z"
    }
    # 请求URL：末尾自定义文档ID可选，不指定则ES会自动生成唯一文档ID
    url = f"{ES_ENDPOINT}/{INDEX_NAME}/_doc/<可选自定义文档ID>"
    
    # 发起PUT请求
    response = requests.put(
        url,
        # 自建ES替换为你的ES账号密码元组，比如("admin", "你的密码")，无认证直接删除该参数
        auth=awsauth,
        headers={"Content-Type": "application/json"},
        data=json.dumps(document)
    )
    
    return {
        "statusCode": response.status_code,
        "body": json.loads(response.text)
    }

常见问题排查 #

• 返回403错误：优先检查Lambda执行角色权限、ES的访问策略、安全组配置是否正确
• 返回连接超时：确认Lambda和ES网络连通，同VPC场景需确认Lambda已经配置了VPC访问权限，公网访问场景需确认ES公网访问开关已打开
• 返回400错误：检查请求体JSON格式是否合法、目标索引是否存在、写入字段是否符合索引的映射规范

内容的提问来源于stack exchange，提问作者Sean O