Airflow SSH Operator Bash命令间歇性失败问题排查求助

一、Airflow SSHOperator 配置排查与优化 #

• 补充执行超时参数：当前仅设置了conn_timeout（SSH连接超时），未配置命令执行超时cmd_timeout，同时需明确Airflow任务的execution_timeout，避免因默认超时导致无报错失败。修改代码如下：

  from datetime import timedelta
  from airflow.providers.ssh.operators.ssh import SSHOperator
  
  task_exec = SSHOperator(
      task_id='additonal_info',
      command="ksh -x execute.ksh paramter1",
      ssh_conn_id="SSH_CONNECTION",
      conn_timeout=432000,
      cmd_timeout=432000,  # 新增命令执行超时
      execution_timeout=timedelta(hours=12),  # 新增任务整体超时
      get_pty=True,  # 启用PTY，确保捕获所有命令输出/错误
      ssh_extra_args="-o ServerAliveInterval=60 -o ServerAliveCountMax=3"  # 保持SSH连接活跃
  )
  

• 检查Airflow Worker配置：确认Composer环境中Worker的kill_after_timeout、Celery的worker_timeout等参数，避免Worker因任务执行过长主动终止进程。

二、目标主机与脚本逻辑排查 #

• 捕获脚本完整日志：修改命令将脚本输出定向到文件，便于定位卡顿或失败点：

  ksh -x execute.ksh paramter1 > /tmp/execute_task.log 2>&1
  

  任务结束后登录目标主机查看该日志，确认脚本卡在哪个环节（如依赖外部资源等待、资源瓶颈等）。
• 监控目标主机资源：在脚本中添加资源监控，或直接在目标主机上查看任务执行时的CPU、内存、磁盘IO使用率，排查是否因资源耗尽导致执行缓慢或中断：

  # 在execute.ksh开头添加，每60秒记录一次资源情况
  top -b -d 60 >> /tmp/resource_monitor.log &
  

• 排查脚本依赖稳定性：检查execute.ksh中是否依赖外部服务（数据库、API、共享存储等），这些服务的响应延迟或可用性波动会直接导致脚本执行时长不稳定。

三、GCP Composer环境与网络排查 #

• 检查Composer Worker资源：通过GCP控制台查看Composer环境的Worker节点CPU、内存使用率，若资源长期处于高位，考虑升级Worker节点规格或增加节点数量。
• 验证网络连通性：排查VPC防火墙规则、Cloud NAT配置，确认SSH连接路径无网络波动或中断；可在目标主机上启用SSH服务的KeepAlive配置，配合SSHOperator的ssh_extra_args参数维持连接。

四、长期优化建议 #

• 拆分长任务：将单条长脚本拆分为多个SSHOperator任务，每个任务执行独立逻辑单元，便于定位问题点，同时降低单任务超时风险。
• 添加脚本健康检查：在execute.ksh中加入关键步骤的超时判断，若某步骤超过预期时间则主动报错并退出，避免无响应卡顿。

内容的提问来源于stack exchange，提问作者Arya