Airflow PythonOperator任务随机退出返回码1求助排查

1. 定位TypeError的触发根源 #

TypeError: an integer is required (got type ChunkedEncodingError) 核心问题是代码中把ChunkedEncodingError异常对象当成了整数类型使用。这类错误几乎都出现在异常捕获逻辑里：

• 比如捕获ChunkedEncodingError后，错误地将异常对象传给需要整数参数的函数（如重试次数、状态码判断逻辑）；
• 或者在异常分支里，误把异常对象当作HTTP状态码做判断/计算。

优先检查所有try-except块，重点看处理requests相关异常的代码，比如是否存在类似错误写法：

try:
    response = requests.get(api_url)
except requests.exceptions.ChunkedEncodingError as e:
    # 错误示例：把异常对象e传给需要整数参数的重试函数
    retry(e)
    # 或错误地用e判断HTTP状态码
    if e == 500:
        pass

2. 修复并强化requests的异常处理与重试机制 #

ChunkedEncodingError本质是网络层面的分块编码传输异常，针对20万次高频API调用，需要针对性优化：

• 给requests添加自动重试策略，覆盖网络类异常，避免单次异常导致整个任务崩溃；
• 明确捕获ChunkedEncodingError，仅做日志记录或合规重试，不滥用异常对象。

示例代码（带重试的session配置）：

import requests
import logging
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

# 创建带重试策略的session
session = requests.Session()
retry_strategy = Retry(
    total=3,  # 总重试次数
    backoff_factor=1,  # 重试间隔指数退避（1s→2s→4s）
    status_forcelist=[429, 500, 502, 503, 504],  # 针对这些状态码重试
    allowed_methods=["GET", "POST"],  # 允许重试的请求方法
    # 捕获分块编码、连接类异常
    retry_on_exception=lambda exc: isinstance(exc, (requests.exceptions.ChunkedEncodingError, requests.exceptions.ConnectionError))
)
adapter = HTTPAdapter(max_retries=retry_strategy)
session.mount("https://", adapter)
session.mount("http://", adapter)

# 用session发起请求的标准逻辑
try:
    # 设置连接超时10s，读取超时30s，避免长期挂起
    response = session.get(api_url, timeout=(10, 30))
    response.raise_for_status()  # 主动触发HTTP状态码异常
except requests.exceptions.ChunkedEncodingError as e:
    logging.error(f"分块编码异常，请求URL: {api_url}, 错误详情: {str(e)}")
    # 若重试策略未覆盖，可标记该请求失败或手动重试
except requests.exceptions.RequestException as e:
    logging.error(f"请求失败，URL: {api_url}, 错误详情: {str(e)}")

3. 强化日志与数据校验 #

• 添加详细错误日志：在API调用、DataFrame写入、S3上传等关键节点打印日志，异常发生时输出完整堆栈信息，精准定位错误环节：

  import traceback
  try:
      # 业务逻辑代码
  except Exception as e:
      logging.error(f"执行失败，堆栈信息:\n{traceback.format_exc()}")
  

• 校验API返回数据：每次调用后检查返回数据的格式是否符合预期，避免脏数据导致DataFrame拼接/处理时触发隐性错误，最终表现为随机退出。

4. 排查依赖版本兼容性 #

旧版本的requests或urllib3可能存在ChunkedEncodingError处理的bug，尝试升级到稳定版：

pip install --upgrade requests urllib3

5. 小批量测试验证 #

先跑小规模测试（比如1000次调用），配合详细日志确认逻辑稳定后，再逐步扩大到20万次，避免大规模调用难以定位问题。

内容的提问来源于stack exchange，提问作者Nicolaz