如何让Python编写的AWS Lambda将日志推送至ECS任务/VM而非CloudWatch？

一、核心前提：彻底禁用Lambda默认CloudWatch日志 #

Lambda默认会自动把stdout/stderr输出、函数运行日志发送到CloudWatch，要完全弃用需完成两步：

• 清理Lambda执行角色权限：移除所有logs:CreateLogGroup、logs:CreateLogStream、logs:PutLogEvents这类CloudWatch Logs相关权限，确保角色无权限向CloudWatch写入日志。
• 关闭控制台日志开关：在Lambda函数的「配置→监控和操作工具」中，关闭CloudWatch日志的启用开关；若已有遗留日志组，手动删除避免残留。

二、方案1：使用ECS任务作为日志接收端 #

1. ECS任务部署配置 #

• 可直接在ECS上部署完整ELK Stack（Elasticsearch+Logstash+Kibana），或仅部署Logstash作为转发器（配合外部Elasticsearch）。
• 给ECS任务配置稳定访问入口：比如绑定负载均衡器，或为任务分配静态私有IP，确保Lambda能稳定访问。
• 配置Logstash输入插件：推荐用http或tcp插件监听指定端口（如5044、8080），用于接收Lambda推送的日志。

2. Lambda Python代码改造 #

把原本输出到控制台的日志，改为直接发送到ECS上的Logstash端点，示例如下：

用python-logstash库（TCP方式）

import logstash
import json
import os
import traceback

# 从环境变量读取ECS Logstash地址
logstash_host = os.environ.get('LOGSTASH_ECS_HOST')
logstash_port = int(os.environ.get('LOGSTASH_PORT', 5044))

# 初始化Logstash客户端
logger = logstash.TCPLogstashHandler(logstash_host, logstash_port, version=1)

def lambda_handler(event, context):
    try:
        # 构造业务日志，附带Lambda上下文信息
        business_log = {
            'function_name': context.function_name,
            'request_id': context.aws_request_id,
            'event': json.dumps(event),
            'message': 'Lambda执行完成'
        }
        logger.info(json.dumps(business_log))
        
        return {'statusCode': 200, 'body': json.dumps('Success')}
    except Exception as e:
        # 捕获异常并发送错误日志
        error_log = {
            'function_name': context.function_name,
            'request_id': context.aws_request_id,
            'error_type': type(e).__name__,
            'error_msg': str(e),
            'traceback': traceback.format_exc()
        }
        logger.error(json.dumps(error_log))
        raise e

用HTTP方式（依赖requests库）

import requests
import json
import os
import traceback

logstash_endpoint = os.environ.get('LOGSTASH_HTTP_ENDPOINT')

def lambda_handler(event, context):
    try:
        log_data = {
            'function_name': context.function_name,
            'request_id': context.aws_request_id,
            'message': '业务日志内容'
        }
        requests.post(logstash_endpoint, json=log_data, timeout=3)
        return {'statusCode': 200}
    except Exception as e:
        error_log = {
            'function_name': context.function_name,
            'request_id': context.aws_request_id,
            'error_msg': str(e)
        }
        requests.post(logstash_endpoint, json=error_log, timeout=3)
        raise e

三、方案2：使用VM作为日志接收端 #

1. VM部署配置 #

• 在EC2实例上部署ELK或Logstash，确保VM与Lambda处于同一VPC（或配置安全组允许Lambda所在网络访问VM的日志端口）。
• 给VM分配弹性IP或私有IP，确保Lambda能稳定访问；同时开放安全组端口（如5044、8080），允许Lambda的出站流量进入。
• Logstash输入配置与ECS方案一致，选用tcp或http插件接收日志。

2. Lambda代码改造 #

与ECS方案代码完全一致，仅需将环境变量中的LOGSTASH_HOST替换为VM的IP地址或内部域名即可。若Lambda在VPC外，需确保VM有公网IP且安全组开放对应端口。

四、额外注意事项 #

• 异常日志全覆盖：Lambda运行时未捕获的异常默认仍会尝试向CloudWatch发送，因此必须在代码中全局捕获异常，手动推送至ELK。
• 网络权限：Lambda执行角色需具备访问ECS/VM的网络权限，若在VPC内，需配置对应安全组的出站规则；若调用公网端点，需确保Lambda有公网访问能力。
• 日志可靠性：高并发场景下，可引入SQS作为中间层——Lambda将日志写入SQS，ECS/VM从SQS消费后转存至ELK，避免日志丢失。
• 性能优化：批量发送日志减少连接建立开销，比如收集多条日志后一次性推送，提升Lambda执行效率。

内容的提问来源于stack exchange，提问作者JustARandomGuy