Airflow Celery Worker节点执行Sqoop直接导入数据至S3报错如何解决？

Sqoop本身完全支持直接写入S3，你遇到的No FileSystem for scheme: s3报错本质是Sqoop依赖的Hadoop运行环境没有正确加载对应S3协议的文件系统实现类，以及跨版本依赖冲突导致的，你之前的操作遗漏了以下核心配置项：

• 缺失文件系统实现类的注册配置
  你只拷贝了依赖jar包，没有在Hadoop的core-site.xml配置文件中注册S3协议对应的实现类：

如果使用s3a协议（开源Hadoop原生支持的S3协议，兼容性更强），需要在core-site.xml中添加以下配置：

<property>
  <name>fs.s3a.impl</name>
  <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
</property>

如果使用EMR专属的s3协议，需要注册EMRFS的实现类：

<property>
  <name>fs.s3.impl</name>
  <value>com.amazon.ws.emr.hadoop.fs.EmrFileSystem</value>
</property>

同时确保你修改的core-site.xml所在路径在Sqoop运行的Hadoop classpath中，你之前切换使用EMR Hadoop时没有同步EMR的配置文件到本地节点，也会导致配置不生效。

• 跨版本Hadoop依赖冲突
  你本地运行的是Hadoop 2.7，拷贝的是EMR Hadoop 3.2.1版本的依赖jar包，两个大版本的Hadoop核心类不兼容，会导致类加载失败。可以二选一解决：

  1. 将Airflow worker节点的Hadoop版本升级到和EMR一致的3.2.1版本，再拷贝对应版本的S3相关依赖
  2. 直接使用Hadoop 2.7版本对应的s3a协议依赖包，不要混合使用3.x版本的jar

• 缺失S3访问权限配置
  完成文件系统配置后，还需要配置S3的访问凭证，二选一即可：

  1. 给Airflow worker节点对应的EC2实例绑定具备目标S3桶读写权限的IAM角色（无需额外配置，AWS自动托管凭证）
  2. 在core-site.xml中配置永久访问密钥：

  <property>
    <name>fs.s3a.access.key</name>
    <value>你的AK</value>
  </property>
  <property>
    <name>fs.s3a.secret.key</name>
    <value>你的SK</value>
  </property>
  

• Sqoop classpath优先级配置错误
  Sqoop默认会优先加载自身lib目录下的旧版Hadoop依赖，你可以在运行Sqoop命令前手动指定Hadoop classpath优先级，确保你的配置和依赖优先加载：

export HADOOP_CLASSPATH=$(hadoop classpath):/path/to/your/custom/s3/jars/*
sqoop import <你原来的其他参数> --target-dir s3a://<桶名>/<路径>

你可以先在Airflow worker节点执行Hadoop文件系统命令验证S3连通性，确认没问题后再运行Sqoop任务：

hadoop fs -ls s3a://<你的测试桶名>/

只要这个命令可以正常返回结果，Sqoop写入S3的配置就已经完成。

内容的提问来源于stack exchange，提问作者Rukshan Hassim