向Azure Blob Storage写入Parquet时报"请求输入项无效"如何解决

核心原因是Azure存储SDK依赖冲突+版本不匹配：

• 你同时引入了新旧两套Azure存储SDK：旧版com.microsoft.azure:azure-storage和新版com.azure:azure-storage-blob/com.azure:azure-storage-common，两套SDK的类加载和接口实现存在冲突。而你使用的hadoop-azure:2.7.0仅适配旧版Azure存储SDK，无法和新版v12 SDK兼容，调用rename接口时就会出现参数无效的报错。
• 你使用的com.microsoft.azure:azure-storage:2.0.0版本过老，和hadoop-azure:2.7.0的适配要求不匹配，进一步加剧了接口调用异常。
• 你提到Delta格式可以正常写入，是因为Delta使用独立的提交逻辑，不需要调用NativeAzureFileSystem的rename方法提交任务，因此避开了依赖冲突导致的异常。

按如下步骤调整即可解决：

1. 清理冲突依赖，移除所有新版v12 Azure存储SDK的引入，删除--packages参数中的com.azure:azure-storage-blob:12.8.0、com.azure:azure-storage-common:12.8.0两个依赖包。
2. 升级旧版Azure存储SDK到适配版本，将com.microsoft.azure:azure-storage:2.0.0替换为com.microsoft.azure:azure-storage:4.0.0，该版本为hadoop-azure:2.7.0的官方兼容版本。
3. 可选优化：如果调整依赖后仍有报错，可以在Spark启动参数中新增如下配置，优化提交逻辑：

--conf spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=2

写入时也可以指定覆盖模式，排除目标路径已存在导致的异常：

df.write.mode("overwrite").parquet("wasb://<container>@<account>.blob.core.windows.net/<path>")

内容的提问来源于stack exchange，提问作者Eric Ávila