在Apache Zeppelin 0.8.0+Spark2.3.2中使用Azure Blob存储遇wasbs文件系统错误

针对你在Apache Zeppelin 0.8.0搭配Spark 2.3.2环境中使用Azure Blob存储遇到的这个错误，我结合你的配置梳理了几个核心排查点和修复方案：

1. 修正依赖版本兼容性 #

你当前使用的azure-storage-2.2.0和Spark 2.3.2默认适配的Hadoop 2.7.x版本兼容性较差，建议替换为azure-storage-4.4.0，这个版本和hadoop-azure-2.7.3.jar搭配更稳定。

2. 完善core-site.xml的配置 #

你的配置里只覆盖了wasb协议的抽象文件系统实现，但缺失了wasbs（SSL加密的Blob存储协议）对应的配置项，需要补充完整：

<configuration>
  <!-- 原有wasb协议配置 -->
  <property>
    <name>fs.AbstractFileSystem.wasb.Impl</name>
    <value>org.apache.hadoop.fs.azure.Wasb</value>
  </property>
  <!-- 添加wasbs协议的配置 -->
  <property>
    <name>fs.AbstractFileSystem.wasbs.impl</name>
    <value>org.apache.hadoop.fs.azure.Wasbs</value>
  </property>
  <property>
    <name>fs.azure.account.key.{storage_account_name}.blob.core.windows.net</name>
    <value>{account_key_value}</value>
  </property>
</configuration>

⚠️ 注意：一定要把占位符{storage_account_name}和{account_key_value}替换成你实际的存储账户名和密钥。

3. 调整Spark配置的加载逻辑 #

Zeppelin的Spark interpreter对spark.jars的路径解析有时候会存在问题，建议：

• 直接在Zeppelin的Interpreter配置页面找到Spark interpreter，在spark.jars参数里手动填写两个jar的完整绝对路径：

  /opt/jars/hadoop-azure-2.7.3.jar,/opt/jars/azure-storage-4.4.0.jar
  

• 同时把spark.driver.extraClassPath改成明确的jar路径，避免通配符导致的加载不全：

  spark.driver.extraClassPath /opt/jars/hadoop-azure-2.7.3.jar:/opt/jars/azure-storage-4.4.0.jar
  

4. 验证配置是否生效 #

重启Zeppelin服务后，在你的note里先执行一段测试代码，确认Hadoop配置是否被正确加载：

val hadoopConf = sc.hadoopConfiguration
// 验证存储密钥是否读取到（可以输出片段做掩码处理）
println("存储账户密钥片段：" + hadoopConf.get("fs.azure.account.key.your_storage_account.blob.core.windows.net").take(10))
// 验证wasbs配置是否存在
println("wasbs文件系统实现类：" + hadoopConf.get("fs.AbstractFileSystem.wasbs.impl"))

如果输出为空，说明Zeppelin没有读取到core-site.xml，需要确认该文件是否放在Spark的conf目录（${SPARK_HOME}/conf），且Zeppelin的Spark interpreter配置中指定了正确的Spark Home路径。

5. 补充缺失的基础依赖 #

如果以上步骤都无效，可能是缺少Hadoop基础依赖，建议把同版本的hadoop-common-2.7.3.jar和hadoop-client-2.7.3.jar放到/opt/jars目录，确保依赖链完整。

内容的提问来源于stack exchange，提问作者Demyan Mysakovets