如何从Hadoop远程复制文件到ABFS？解决ABFS文件系统找不到报错

报错本质是Hadoop的classpath中缺少ABFS相关依赖包，无法找到org.apache.hadoop.fs.azurebfs.AzureBlobFileSystem实现类，以下是具体解决步骤：

1. 匹配Hadoop版本与ABFS依赖包 #

不同Hadoop版本对应不同的ABFS依赖包版本，需确保版本兼容：

• Hadoop 3.x系列：需对应hadoop-azure-3.x.x.jar、azure-storage-blob-12.x.x.jar、azure-storage-common-12.x.x.jar等核心包
• Hadoop 2.x系列：需对应hadoop-azure-2.x.x.jar、azure-storage-8.x.x.jar等包

2. 添加依赖包到Hadoop classpath #

• 手动下载方式：从Maven仓库下载对应版本的依赖包，放到Hadoop安装目录的share/hadoop/tools/lib文件夹下
• 发行版包管理方式：如果使用Cloudera、HDP等商业发行版，直接通过发行版的包管理工具安装hadoop-azure插件包（例如Cloudera的yum install hadoop-azure）

3. 配置Hadoop核心配置文件 #

编辑$HADOOP_HOME/etc/hadoop/core-site.xml，添加ABFS文件系统实现类的配置：

<property>
    <name>fs.abfs.impl</name>
    <value>org.apache.hadoop.fs.azurebfs.AzureBlobFileSystem</value>
</property>
<property>
    <name>fs.AbstractFileSystem.abfs.impl</name>
    <value>org.apache.hadoop.fs.azurebfs.AzureBlobFileSystem</value>
</property>

若需访问ADLS Gen2的ABFS存储，还需根据认证方式添加对应配置（如服务主体密钥、托管标识等）。

4. 验证配置生效 #

• 集群环境：重启HDFS、YARN等相关服务，确保所有节点同步了依赖包和配置
• 单机环境：重新加载Hadoop配置

  source $HADOOP_HOME/etc/hadoop/hadoop-env.sh
  

• 再次执行命令验证：

  hdfs dfs -ls abfs://<容器名>@<存储账户名>.dfs.core.windows.net/
  

5. 额外注意事项 #

• 集群环境下需确保所有节点的依赖包和配置文件完全一致，避免节点间不一致导致的问题
• 若通过Spark等计算框架访问ABFS，需确保Spark的classpath包含上述依赖包，可通过--jars参数指定依赖路径

内容的提问来源于stack exchange，提问作者user2511126