AWS Lambda向Loki推送日志失败（400错误）及相关异常求助

核心排查方向 #

1. 时间戳精度问题 #

Loki要求日志时间戳为纳秒级整数的字符串格式，你当前使用的1704364172000是毫秒级，需转换为纳秒（乘以1000000），即1704364172000000000。

• 毫秒级时间戳会导致Loki解析不稳定：偶尔识别标签但丢弃日志内容，直接返回400。
• 验证：在Lambda代码中将时间戳转为纳秒格式后重新推送测试。

2. 请求头与Payload格式校验 #

• 确保Lambda请求携带Content-Type: application/json头：400错误常因缺少该头导致Loki无法解析JSON Payload。
• 检查Payload序列化方式：使用HTTP客户端的json参数自动序列化（如Python requests的json=payload），而非手动转字符串后用data参数发送，避免格式错误。

3. 网络与拦截层检查 #

• 确认Lambda到Loki的网络路径中无WAF、安全组或反向代理（如Nginx）修改/拦截请求：
  • 查看Loki容器日志（docker logs <loki-container-id>），检查是否有Payload解析失败的错误日志，直接定位400原因。
  • 若使用反向代理，需确保代理正确传递请求体，未对JSON内容做截断或转义。

4. Loki配置与存储验证 #

• 检查Loki认证配置：若启用了基本认证或API密钥，Lambda请求需携带对应认证头（如Authorization: Basic <token>），CURL可能手动配置了但Lambda未添加。
• 排查存储后端问题：CURL推送后Grafana显示无数据量，可能是Loki存储（本地文件/S3等）写入权限不足，导致日志未落地。查看Loki日志中是否有存储相关报错。

5. Lambda代码细节优化 #

• 捕获并打印响应内容：400错误通常会返回具体错误信息（如"error": "invalid timestamp format"），帮助快速定位问题。示例代码片段：

  import requests
  import time
  
  def lambda_handler(event, context):
      payload = {
          "streams": [
              {
                  "stream": {"job": "loki_testing", "source": "loki"},
                  "values": [[str(int(time.time() * 1e9)), "test log from lambda"]]
              }
          ]
      }
      try:
          resp = requests.post(
              "http://<your-loki-endpoint>/loki/api/v1/push",
              json=payload,
              headers={"Content-Type": "application/json"}
          )
          resp.raise_for_status()
          return {"status": "success", "status_code": resp.status_code}
      except Exception as e:
          return {"status": "failed", "error": str(e), "response_text": resp.text if 'resp' in locals() else ""}
  

6. Grafana查询验证 #

• 确认查询语句与时间范围：使用{job="loki_testing"}精确匹配标签，且时间范围覆盖日志推送时间（注意时区差异）。
• 索引同步延迟：若使用boltdb-shipper等索引方式，索引同步可能存在延迟，等待1-2分钟后再查询。

内容的提问来源于stack exchange，提问作者Roronoa Zoro