使用Cloud Composer时Sendgrid出现HTTP 400错误求助

问题背景 #

我正在尝试在Composer 2（Airflow 2.3.4）中配置Airflow DAG，使其能够通过EmailOperator发送邮件。已遵循官方指南操作，但运行指南中提供的示例DAG时出现HTTP 400错误，日志如下：

[2023-01-20, 10:46:45 UTC] {taskinstance.py:1904} ERROR - Task failed with exception
Traceback (most recent call last):
File "/opt/python3.8/lib/python3.8/site-packages/airflow/operators/email.py", line 75, in execute
send_email(
File "/opt/python3.8/lib/python3.8/site-packages/airflow/utils/email.py", line 58, in send_email
return backend(
File "/opt/python3.8/lib/python3.8/site-packages/airflow/providers/sendgrid/utils/emailer.py", line 123, in send_email
_post_sendgrid_mail(mail.get(), conn_id)
File "/opt/python3.8/lib/python3.8/site-packages/airflow/providers/sendgrid/utils/emailer.py", line 142, in _post_sendgrid_mail
response = sendgrid_client.client.mail.send.post(request_body=mail_data)
File "/opt/python3.8/lib/python3.8/site-packages/python_http_client/client.py", line 277, in http_request
self._make_request(opener, request, timeout=timeout)
File "/opt/python3.8/lib/python3.8/site-packages/python_http_client/client.py", line 184, in _make_request
raise exc
python_http_client.exceptions.BadRequestsError: HTTP Error 400: Bad Request

已完成以下操作但问题仍存在：

• 在Sendgrid中设置并验证了带完整域名的发件邮箱地址
• 在Secret Manager中配置了该邮箱地址及API密钥
• 仅修改了测试DAG中的收件人地址，其余未改动
• 在另一个DAG中尝试启用email_on_retry，仍无法触发邮件

排查步骤 #

1. 检查SendGrid API密钥权限 #

• 确认API密钥是否拥有Mail Send权限：进入SendGrid控制台的API密钥页面，查看对应密钥的权限列表，确保勾选了Mail Send权限。如果权限不足，重新生成带该权限的密钥并更新Secret Manager中的配置。

2. 验证SendGrid发件人身份状态 #

• 登录SendGrid控制台，进入Sender Authentication页面，确认已验证的发件邮箱状态为Verified，且没有未完成的验证步骤（如DNS记录配置是否生效）。可使用DNS查询工具确认SPF、DKIM记录是否正确配置，避免因DNS延迟导致的验证失效。

3. 核对Airflow邮件配置参数 #

• 确认Composer环境中以下Airflow配置是否正确设置：
  • email_backend：需设置为airflow.providers.sendgrid.utils.emailer.send_email
  • sendgrid_api_key_secret：对应Secret Manager中存储API密钥的资源ID（格式为projects/<项目ID>/secrets/<密钥名称>/versions/latest）
  • sendgrid_from_email：需与SendGrid中已验证的发件邮箱完全一致，包括完整域名

4. 获取SendGrid详细错误响应 #

• 目前日志仅显示HTTP 400，可修改测试DAG代码捕获SendGrid的具体错误信息，示例：

  from airflow.providers.sendgrid.utils.emailer import _post_sendgrid_mail
  from python_http_client.exceptions import BadRequestsError
  
  try:
      _post_sendgrid_mail(mail.get(), conn_id)
  except BadRequestsError as e:
      print(f"SendGrid Error Details: {e.body}")
      raise
  

  详细错误信息会指明具体问题（如收件人格式错误、发件人未授权、邮件内容不符合规范等）。

5. 直接测试SendGrid API调用 #

• 使用curl直接调用SendGrid的邮件发送API，排除Airflow配置问题：

  curl -X POST "https://api.sendgrid.com/v3/mail/send" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "personalizations": [{"to": [{"email": "RECIPIENT_EMAIL"}]}],
    "from": {"email": "VERIFIED_SENDER_EMAIL"},
    "subject": "Test Email",
    "content": [{"type": "text/plain", "value": "Test content"}]
  }'
  

  如果直接调用也报错，根据返回的错误信息排查SendGrid端问题；如果调用成功，说明问题出在Airflow的配置或DAG代码中。

6. 确认Composer网络访问权限 #

• 检查Composer环境是否能够访问SendGrid的API端点（https://api.sendgrid.com）：
  • 若使用私有VPC，确认VPC防火墙规则允许出站访问443端口到SendGrid的IP范围
  • 排查是否有代理或防火墙拦截请求，导致请求格式异常或被拒绝

7. 检查邮件内容格式 #

• 确认测试DAG中的邮件主题、内容是否包含特殊字符或不符合SendGrid的格式要求：
  • 避免主题过长或包含非法字符
  • 确保邮件内容的MIME类型设置正确（如纯文本或HTML格式符合规范）

内容的提问来源于stack exchange，提问作者ramoniazzz