Databricks环境下无挂载权限的远端S3文件迁移到自有S3方案咨询

404 HeadObject报错修复 #

你遇到的404报错可按以下优先级排查修复：

• 修正硬编码的路径错误：当前代码中source_key写死为myclient/2021/10/06/part-000d339cb-c000.snappy.parquet，和循环生成的day_to_copy动态日期没有关联，遍历非2021-10-06的日期时，对应源对象不存在直接触发404。
• 补全源路径的权限前缀：你仅拥有第三方桶bucketname/my_prefix路径的访问权限，需确认source_key的前缀匹配有权限的路径，若源对象实际路径为Remote-S3/my_prefix/myclient/[日期]/xxx.parquet，需把前缀my_prefix/补到source_key开头，否则无权限访问的路径AWS会返回404避免泄露资源存在性。
• 确认运行实例IAM权限：Databricks运行集群的实例角色需同时配置源桶对应前缀的s3:GetObject、s3:ListBucket权限，以及自有桶的s3:PutObject权限，权限不足也会触发该类报错。

修正后的批量复制代码参考：

import boto3
s3 = boto3.resource('s3')

if len(days_to_copy) > 0:
    for day in days_to_copy:
        day_str = day.strftime('%Y/%m/%d')
        source_bucket = "Remote-S3"
        # 替换为你实际有权限的源前缀
        source_prefix = f"my_prefix/myclient/{day_str}/"
        target_bucket = "Local-s3"
        target_prefix = f"{day_str}/"
        
        # 遍历源路径下所有文件批量复制
        bucket = s3.Bucket(source_bucket)
        for obj in bucket.objects.filter(Prefix=source_prefix):
            if obj.key.endswith('.parquet'):
                # 构造目标key，去掉源前缀保留文件名
                file_name = obj.key.split('/')[-1]
                target_key = f"{target_prefix}{file_name}"
                s3.meta.client.copy(
                    {'Bucket': source_bucket, 'Key': obj.key},
                    target_bucket,
                    target_key
                )

远端S3直接复制到DBFS的方案 #

无需挂载整桶暴露权限，有两种可行实现：

方案1：boto3流式写入DBFS #

DBFS在Databricks运行节点的本地映射路径为/dbfs/，可通过boto3拉取源文件流直接写入DBFS路径，无需中转自有S3：

for day in days_to_copy:
    day_str = day.strftime('%Y/%m/%d')
    source_prefix = f"my_prefix/myclient/{day_str}/"
    # DBFS目标路径，可自定义
    dbfs_target_dir = f"/dbfs/data/remote_import/{day_str}/"
    # 创建本地目录
    dbutils.fs.mkdirs(f"dbfs:/data/remote_import/{day_str}/")
    
    bucket = s3.Bucket("Remote-S3")
    for obj in bucket.objects.filter(Prefix=source_prefix):
        if obj.key.endswith('.parquet'):
            file_name = obj.key.split('/')[-1]
            # 流式下载写入DBFS
            s3.Object("Remote-S3", obj.key).download_file(f"{dbfs_target_dir}{file_name}")

方案2：dbutils.fs.cp批量复制（性能更优） #

将AWS访问密钥存入Databricks秘密作用域（Secret Scope），仅在当前会话配置源前缀的访问权限，不会全局暴露给所有用户：

# 从秘密作用域读取密钥，仅当前会话生效
access_key = dbutils.secrets.get(scope="your-secret-scope", key="aws-access-key")
secret_key = dbutils.secrets.get(scope="your-secret-scope", key="aws-secret-key")

# 仅给远端桶的特定前缀配置访问权限，不会全局开放整桶
spark.conf.set(f"fs.s3a.bucket.Remote-S3.access.key", access_key)
spark.conf.set(f"fs.s3a.bucket.Remote-S3.secret.key", secret_key)

# 批量递归复制
for day in days_to_copy:
    day_str = day.strftime('%Y/%m/%d')
    source_path = f"s3a://Remote-S3/my_prefix/myclient/{day_str}/"
    target_path = f"dbfs:/data/remote_import/{day_str}/"
    dbutils.fs.cp(source_path, target_path, recurse=True)

内容的提问来源于stack exchange，提问作者beatbox