AWS Lambda中OpenTelemetry导出日志/错误的修复与禁用咨询

一、禁用OTEL相关冗余日志 #

需要从OTEL组件和Lambda日志过滤两个维度调整：

1. 控制OTEL SDK日志级别
   添加环境变量 OTEL_PYTHON_LOG_LEVEL=ERROR，将Python OTEL SDK的日志输出限制为ERROR级别，过滤掉WARNING级别的冗余信息。

2. 确认Lambda OTEL扩展日志配置
   已设置的 OPENTELEMETRY_EXTENSION_LOG_LEVEL=error 可控制OTEL Lambda扩展的日志输出，确保该变量在Lambda环境中正常生效。

3. Lambda日志组过滤规则（可选）
   若仍有冗余日志残留，可在Lambda日志组添加过滤规则：

   • 过滤包含 "An instrument with name http.server.duration" 的条目
   • 过滤包含 "Failed to export batch code: 404" 的条目
     通过Lambda控制台→日志组→筛选条件→创建过滤规则实现。

二、修复日志中的具体问题 #

1. 解决http.server.duration重复创建警告 #

出现如下警告：

[WARNING]   2023-05-01T23:56:03.374Z        An instrument with name http.server.duration, type Histogram, unit ms and description measures the duration of the inbound HTTP request has been created already.

该警告源于FastAPI的OTEL仪器与Lambda OTEL扩展重复注册了HTTP服务器指标，修复方案：

• 禁用HTTP自动仪器：添加环境变量 OTEL_PYTHON_DISABLED_INSTRUMENTATIONS=http，阻止OTEL自动注入HTTP指标，仅保留FastAPI相关的指标收集逻辑。
• 升级组件版本：将OTEL SDK（opentelemetry-sdk）和AWS OTEL Layer升级至1.20.0及以上版本，新版本已修复重复仪器注册的兼容性问题。

2. 解决导出404错误 #

出现如下错误日志：

[ERROR] 2023-05-01T23:56:04.958Z    42a36f0d-6bde-428d-833a-fc34f295a4a9    Failed to export batch code: 404, reason: 404 page not found

虽然指标已成功发送至Grafana，但该错误说明ADOT Collector向目标端点导出时存在路径或端口不匹配问题，修复步骤：

• 修正OTLP端口配置：OTLP HTTP/protobuf协议的默认端口为4318，4317为gRPC协议端口。若目标服务使用HTTP协议，更新otel-config.yaml：

  exporters:
    otlp:
      endpoint: https://<ANOTHER_SERVICE>:4318
      protocol: http/protobuf
  

• 补充OTLP端点路径：部分服务的OTLP HTTP端点需指定完整路径（如/v1/metrics），调整配置：

  exporters:
    otlp:
      endpoint: https://<ANOTHER_SERVICE>:4318/v1/metrics
      protocol: http/protobuf
  

• 验证网络连通性：确认Lambda所在VPC的安全组、NACL允许出站流量到目标服务的指定端口，且目标服务的OTLP接收端点正常运行。

总结 #

通过调整环境变量控制日志级别，修复重复仪器注册和端点配置问题，即可消除冗余日志与错误信息。

内容的提问来源于stack exchange，提问作者Iman Shafiei