启用Unity Catalog的集群运行作业时访问Volumes遇操作不允许错误

• 环境：启用Unity Catalog的单用户模式集群，作业计算节点显示单用户模式，摘要标注“Unity Catalog”
• 现象：交互式集群笔记本可正常访问Volume路径，但作业触发时无法访问，执行解密命令报Operation not permitted
• 报错信息：

gpg: can't open '/Volumes/<catalog_name>/<schema>/<volume name>/source/region_data_20241121.asc': Operation not permitted
gpg: decrypt_message failed: Operation not permitted
gzip: /Volumes/<catalog_name>/<schema>/<volume name>/source/region_data_20241121.dat.gz: Operation not permitted

• 相关代码：

val importPublicKeyCommand = s"gpg --batch --yes --import /dbfs/$privateKeyFilePath$privatekeyFile".!!

val decryptFile = if (ucEnabled) s"""gpg --batch --yes --pinentry-mode loopback --passphrase $passPhrase --output  /$mountPath/$fileName --decrypt /$mountPath/$gpgFileName""" else s"""gpg --batch --yes --pinentry-mode loopback --passphrase $passPhrase --output  /dbfs/$mountPath/$fileName --decrypt /dbfs/$mountPath/$gpgFileName"""

decryptFile.!

1. 验证作业执行身份的Volume权限 #

单用户模式集群的作业执行身份是集群指定的单用户，与交互式笔记本的登录用户可能不同。需确认该单用户账号拥有对应Volume的读/写权限：

• 进入Unity Catalog找到目标Volume，查看权限列表
• 确保作业执行用户已被授予SELECT（读）和MODIFY（写）权限

2. 修正Volume路径访问格式 #

作业环境中直接使用/Volumes/...本地路径可能存在权限限制，需改用DBFS挂载的Volume路径：

• UC启用时，路径前缀应为/dbfs/Volumes/而非/Volumes/
• 修改代码中$mountPath变量，确保UC分支的路径正确指向DBFS挂载的Volume

修正后的解密命令示例：

val decryptFile = if (ucEnabled) s"""gpg --batch --yes --pinentry-mode loopback --passphrase $passPhrase --output  /dbfs/Volumes/<catalog>/<schema>/<volume>/$fileName --decrypt /dbfs/Volumes/<catalog>/<schema>/<volume>/$gpgFileName""" else s"""gpg --batch --yes --pinentry-mode loopback --passphrase $passPhrase --output  /dbfs/$mountPath/$fileName --decrypt /dbfs/$mountPath/$gpgFileName"""

3. 绕开系统级命令的权限限制 #

直接调用gpg系统命令可能因进程身份权限不足失败，可通过临时目录中转：

// 复制Volume文件到DBFS临时目录
dbutils.fs.cp(s"/Volumes/<catalog>/<schema>/<volume>/$gpgFileName", s"/tmp/$gpgFileName")
// 在临时目录执行解密
val decryptFile = s"""gpg --batch --yes --pinentry-mode loopback --passphrase $passPhrase --output  /dbfs/tmp/$fileName --decrypt /dbfs/tmp/$gpgFileName"""
decryptFile.!
// 将解密后文件复制回Volume
dbutils.fs.cp(s"/tmp/$fileName", s"/Volumes/<catalog>/<schema>/<volume>/$fileName")
// 清理临时文件
dbutils.fs.rm(s"/tmp/$gpgFileName")
dbutils.fs.rm(s"/tmp/$fileName")

4. 确认集群UC配置有效性 #

• 检查集群是否正确关联Unity Catalog metastore，确保作业集群的UC配置已生效
• 单用户模式集群需确认用户账号已完成UC上下文加载，且拥有对应Catalog、Schema的访问权限

内容的提问来源于stack exchange，提问作者Sachin Shetty