Airflow 2.5.0中执行Sqoop导入命令时无法添加JDBC驱动求助

核心问题：缺失--driver参数导致MySQL连接报错 #

你遇到的Streaming result set错误确实是因为Sqoop未指定MySQL驱动类，默认JDBC连接逻辑处理MySQL时会触发流结果集冲突，必须显式指定com.mysql.jdbc.Driver（若使用MySQL 8.0+，则用com.mysql.cj.jdbc.Driver）。

解决方法：给SqoopOperator添加驱动参数 #

有两种可行方式：

方式1：通过parameters参数直接传入驱动选项 #

在SqoopOperator定义中新增parameters参数，将驱动参数以列表形式传入：

sqoop_mysql_import = SqoopOperator(
    conn_id="sqoop_local",
    table="shipmethod",
    cmd_type="import",
    target_dir="/airflow_sqoopImport",
    num_mappers=1,
    parameters=["--driver", "com.mysql.jdbc.Driver"],  # 新增驱动参数
    task_id="SQOOP_Import",
    dag=Dag_Sqoop_Import
)

方式2：修改Airflow连接配置（推荐） #

在Airflow的sqoop_local连接中添加驱动配置，无需修改DAG代码：

1. 进入Airflow UI的「Admin」→「Connections」，找到sqoop_local连接
2. 在「Extra」字段中以JSON格式添加：

   {"driver": "com.mysql.jdbc.Driver"}
   

之后所有使用该连接的Sqoop任务都会自动带上驱动参数。

额外差异修正说明 #

对比你预期的命令和实际执行命令，还有几处需要调整的地方：

• 表名：DAG中写的是shipmethod，但你预期是workorder，需修正table参数
• 目标目录：实际执行的是/airflow_sqoopImport，你预期是/user/adminn/workorder，需调整target_dir参数
• --autoreset-to-one-mapper：和你设置的num_mappers=1作用重复，二选一即可

修正后的完整DAG示例 #

from airflow.models import DAG
from airflow.contrib.operators.sqoop_operator import SqoopOperator
from airflow.utils.dates import days_ago

Dag_Sqoop_Import = DAG(
    dag_id="SqoopImport",
    schedule_interval="* * * * *",
    start_date=days_ago(2)
)

sqoop_mysql_import = SqoopOperator(
    conn_id="sqoop_local",
    table="workorder",  # 修正为预期表名
    cmd_type="import",
    target_dir="/user/adminn/workorder",  # 修正为预期目标目录
    num_mappers=1,
    parameters=["--driver", "com.mysql.jdbc.Driver"],
    task_id="SQOOP_Import",
    dag=Dag_Sqoop_Import
)

sqoop_mysql_import

内容的提问来源于stack exchange，提问作者Salva