无法删除HDInsight作业及Python/Scala/Hive程序创建的Azure Data Lake Store文件

我来帮你排查这个ADLS文件删除权限的问题，这种情况我遇到过好几次，通常是这几个原因导致的，一步步来试：

1. 确认文件/文件夹的实际ACL与所有者 #

有时候我们以为自己有完全权限，但HDInsight创建的文件默认是由集群的托管标识（服务主体）作为所有者的，普通用户的权限可能没覆盖到子层级。

• 用Azure CLI命令查看目标路径的ACL详情：

  az dls fs access show --account-name <你的ADLS账户名> --path /目标文件夹或文件路径
  

  重点看owner字段是不是HDInsight的托管标识，以及你的用户权限是否在acl列表里包含递归的读写执行权限。
• 如果发现权限没继承到子文件/文件夹，或者你的权限缺失，递归设置ACL试试：

  az dls fs access set-acl --account-name <你的ADLS账户名> --path /目标路径 --acl "user:<你的邮箱>:rwx,group:<你的用户组>:rwx,other:---" --recursive
  

• 要是所有者是托管标识，你可以把所有者转移到自己的账号，再尝试删除：

  az dls fs access set-owner --account-name <你的ADLS账户名> --path /目标路径 --owner <你的邮箱>
  

2. 检查HDInsight集群是否在占用这些文件 #

如果HDInsight集群还在运行，或者有未结束的作业（比如Spark、Hive任务），服务进程会持有文件句柄，导致无法删除。

• 先去Azure门户的HDInsight集群页面，查看“作业”选项卡，终止所有正在运行的相关作业。
• 如果是集群的临时存储或作业日志，建议先停止HDInsight集群，再尝试删除文件/文件夹——集群停止后，所有占用文件的进程都会释放，这时候删除大概率能成功。

3. 用HDInsight集群内部的HDFS命令尝试删除 #

有时候通过门户或外部CLI删除会遇到权限限制，但在HDInsight集群内部用HDFS命令，因为集群本身有ADLS的访问权限，反而能绕过一些问题：

• 登录到HDInsight集群的头节点，执行HDFS递归删除命令：

  hdfs dfs -rm -r /目标路径
  

• 如果是Hive表对应的存储文件，先删除Hive表再删存储路径更稳妥：

  DROP TABLE IF EXISTS 你的表名;
  

4. 检查ADLS的数据保护设置 #

虽然这个情况比较少见，但如果你的ADLS账户启用了软删除或版本控制，有时候会出现删除操作的异常提示（不过通常不是“访问被拒绝”）。你可以去ADLS账户的“数据保护”选项卡，确认这些功能的状态，必要时临时关闭后再尝试删除。

5. 最后一招：提交Azure支持工单 #

如果以上方法都不行，大概率是ADLS或HDInsight服务端的权限缓存、内部锁之类的问题，这时候直接提交Azure支持工单，让微软工程师帮你排查底层的服务异常。

内容的提问来源于stack exchange，提问作者Hemant Chandurkar