使用PySpark从Azure Blob存储读取文件至HDInsight集群时遇报错

嘿，看你遇到的这个Py4JJavaError，根源是StorageException，大概率是权限配置出问题，或者Blob存储的路径/容器名称搞错了，给你几个一步步排查的方案，应该能解决：

1. 先盯紧Blob存储的访问权限 #

• 如果用的是存储账户密钥：先确认你在Spark配置里写的fs.azure.account.key.<storage-account-name>.blob.core.windows.net对应的密钥是不是正确的，有没有打错字符，或者密钥过期了（可以去Azure门户重新生成一个试试）。
• 如果用的是SAS令牌：要确保这个令牌有读取Blob的权限（至少得有r权限），而且没过期。配置的时候注意格式：fs.azure.sas.<container-name>.<storage-account-name>.blob.core.windows.net，值是完整的SAS字符串，别带开头的?哦。
• 如果用Azure AD身份验证：那得确认HDInsight集群用的服务主体（或者托管身份）已经被赋予了Blob存储容器的Storage Blob Data Reader角色，光有普通的读者权限不够，得是专门的Blob数据权限。

2. 核对文件路径格式和拼写 #

• 首先路径格式得对：用密钥/SAS的话，路径应该是wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<file-path>，比如读取容器根目录的test.csv就是wasbs://mycontainer@mystorage.blob.core.windows.net/test.csv。
• 然后仔细检查容器名、存储账户名的拼写，Azure存储的容器名是全小写的，别混了大写字母，很容易踩坑。

3. 检查集群和Blob存储的网络连通性 #

• 如果你的Blob存储开了虚拟网络端点或者防火墙规则，那得确保HDInsight集群所在的VNet能访问Blob存储，要么把集群的IP段加到Blob存储的允许列表里，要么确认VNet peering配置正确。
• 可以在HDInsight的节点上跑个curl命令测试：curl https://<storage-account-name>.blob.core.windows.net/<container-name>/<file-path>，看看是权限报错还是连接超时，能帮你定位是网络还是权限问题。

4. 确认Spark配置真的生效了 #

• 你可以在代码里先打印一下相关配置，看看有没有加载成功：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder.appName("BlobCheck").getOrCreate()
  # 替换成你的存储账户名
  print(spark.conf.get("fs.azure.account.key.mystorage.blob.core.windows.net"))
  

• 如果打印不出来或者值不对，那可能是你提交作业时没通过--conf参数指定，或者集群的core-site.xml里没配置好，得先把配置搞定。

5. 用最简代码测试排除干扰 #

先写个最简化的代码试试，排除其他复杂逻辑的影响：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("SimpleBlobTest") \
    # 替换成你的存储账户名和密钥
    .config("fs.azure.account.key.mystorage.blob.core.windows.net", "your-storage-account-key") \
    .getOrCreate()

# 替换成你的容器名和文件路径
df = spark.read.csv("wasbs://mycontainer@mystorage.blob.core.windows.net/test.csv")
df.show()

如果这个最简代码能跑通，那问题肯定出在你原来的复杂逻辑里；要是还是报错，就回到前面的权限和路径排查，多半是那里没弄对。

内容的提问来源于stack exchange，提问作者Ankit