MapR集群从Azure WASB存储读取Delta格式文件报NoSuchMethodException错误

根因分析 #

你遇到的报错核心是类配置错误：

• org.apache.hadoop.fs.azure.NativeAzureFileSystem 是Hadoop针对wasbs协议实现的标准FileSystem接口类，没有(URI, Configuration)签名的构造方法
• 你配置的fs.AbstractFileSystem.wasbs.impl参数要求传入的是实现AbstractFileSystem接口的类，这类必须包含上述签名的构造方法

读Parquet正常是因为Parquet读取逻辑直接调用标准FileSystem接口，不会走AbstractFileSystem/FileContext路径；而Delta读取时需要访问事务日志，默认会通过FileContext调用你配置的AbstractFileSystem实现，所以触发了报错。

解决思路 #

• 修正wasbs协议的AbstractFileSystem实现类配置，将配置项改为：

spark.conf.set("fs.AbstractFileSystem.wasbs.impl", "org.apache.hadoop.fs.azure.Wasbs")

org.apache.hadoop.fs.azure.Wasbs才是hadoop-azure包中官方提供的wasbs协议对应的AbstractFileSystem实现类，符合接口要求的构造方法签名。

• 统一hadoop-azure依赖版本与MapR集群内置Hadoop版本：你当前指定的hadoop-azure:3.3.1如果和集群内置的Hadoop大版本不匹配，会出现类冲突、方法缺失问题，需改为和集群Hadoop版本完全一致的hadoop-azure版本号
• 调整Spark类加载优先级（可选）：如果MapR集群内置的旧版本依赖优先加载覆盖了你引入的包，可以在%%configure的conf中增加以下配置，优先加载用户指定的依赖：

"spark.driver.userClassPathFirst": "true",
"spark.executor.userClassPathFirst": "true"

• 确认Delta版本兼容性：你使用的delta-core_2.11:0.5.0是非常早期的Delta版本，需确认该版本的AzureLogStore实现是否匹配你当前的Spark、Hadoop版本，必要的话可以升级到更新的适配2.11 Scala版本的Delta release。

内容的提问来源于stack exchange，提问作者Shalaj