Azure使用Autoloader写入流时触发StorageException：资源名称含无效字符

1. 调整Checkpoint路径配置 #

你当前将checkpointLocation直接指向bronze容器根目录，Delta Lake写入时会在该路径下生成大量子目录与文件，可能触发路径命名限制。建议指定具体子目录：

option("checkpointLocation", "abfss://financialdata-api-bronze@stockseval.dfs.core.windows.net/checkpoints/balance-sheet-annual/")

该子目录无需提前创建，Spark会自动生成。

2. 解决认证方式冲突 #

你同时配置了SAS令牌认证与Service Principal连接字符串两种ADLS Gen2认证方式，可能导致权限逻辑冲突，建议二选一：

方案A：保留SAS认证，移除Service Principal配置 #

删除cloudFilesOption中以下参数：

"cloudFiles.connectionString": ...,
"cloudFiles.resourceGroup": ...,
"cloudFiles.subscriptionId": ...,
"cloudFiles.tenantId": ...,
"cloudFiles.clientId": ...,
"cloudFiles.clientSecret": ...,
"cloudFiles.queueName": ...

使用SAS认证时，无需这些Service Principal相关配置，Autoloader可直接通过SAS访问存储。

方案B：保留Service Principal认证，移除SAS配置 #

删除开头的SAS配置代码：

spark.conf.set("fs.azure.account.auth.type.stockseval.dfs.core.windows.net", "SAS") 
spark.conf.set("fs.azure.sas.token.provider.type.stockseval.dfs.core.windows.net", "org.apache.hadoop.fs.azurebfs.sas.FixedSASTokenProvider") 
spark.conf.set("fs.azure.sas.fixed.token.stockseval.dfs.core.windows.net", dbutils.secrets.get(scope="stocksevalSAStoken", key="stocksevalSAStoken")) 

确保cloudFiles.connectionString对应的Service Principal拥有源容器读取、目标容器写入的权限。

3. 验证SAS令牌权限 #

即使能列出目录，SAS令牌可能缺少写入所需权限。重新生成SAS时需确保：

• 权限勾选Read、Write、Delete、List
• 资源类型勾选Service、Container、Object
• 有效期覆盖任务运行时间

4. 排查路径隐藏特殊字符 #

将路径复制到纯文本编辑器，检查是否存在全角空格、制表符等不可见特殊字符。也可先简化路径测试：

bronze_layer = "abfss://financialdata-api-bronze@stockseval.dfs.core.windows.net/test/"

若写入成功，再逐步恢复原路径定位问题。

5. 确认容器名称合法性 #

ADLS Gen2容器名称需符合：

• 长度3-63字符
• 仅包含小写字母、数字、短横线（-）
• 不以短横线开头/结尾，无连续短横线
  确认financialdata-api-bronze完全符合规则。

内容的提问来源于stack exchange，提问作者Manas R