Databricks迁移DBFS数据至S3报InvalidMountException 无法获取会话令牌错误
Databricks DBFS 数据迁移自有S3桶异常排查
异常触发上下文
- 核心执行操作:调用
dbutils.fs.mv完成DBFS存储文件向自有S3存储桶的跨位置移动 - 源文件路径:
dbfs:/tmp/databricks2s3/product/part-00000-tid-7154689887306924257-8bd689b8-fc4d-46a1-b207-8a6b51aade55-411806-1-c000.csv.gz - 目标路径:
/mnt/s3/mybucket-upload/product.csv.gz - 触发异常类型:InvalidMountException
- 报错核心信息:后端无法获取目标路径对应的会话令牌,系统校验提示当前挂载点关联的AWS访问密钥可能已被移除
已验证无效的排障操作
- 基于
s3n协议配置S3挂载,将经URL编码处理的AWS访问密钥(AK/SK)写入挂载参数完成桶挂载,重试移动操作仍触发相同报错 - 绕过原有挂载逻辑,在存储操作配置中直接传入AWS凭证,操作仍未生效
- 环境对照测试:完全一致的操作流程、相同版本的Databricks Runtime在DEV环境下可正常完成全链路文件迁移
排查配套参考材料
提问随附完整报错堆栈、S3挂载代码片段,供根因定位参考
内容的提问来源于stack exchange,提问作者BobCarlos
相关产品推荐
相关产品推荐

