You need to enable JavaScript to run this app. 使用boto3下载S3指定文件夹CSV文件报ValueError的解决方法
优惠活动
大模型
产品
解决方案
定价
更多

使用boto3下载S3指定文件夹CSV文件报ValueError的解决方法

报错原因分析

原代码触发*valueError: Filename must be a string*的核心问题:

  • bucket.objects.filter(Prefix=key)返回的是ObjectSummary类型的对象实例,并非可直接作为函数参数的字符串。调用download_file时,没有提取对象对应的S3路径字符串,直接把对象实例传入了需要本地文件路径的参数位置,触发类型校验报错。
  • 循环内部反复初始化s3客户端,属于不必要的性能损耗。
  • 未实现CSV文件的筛选逻辑,会尝试下载指定路径下的所有类型文件,不符合仅下载CSV的需求。
  • 直接使用S3全路径作为本地文件名时,不会自动创建对应的本地目录结构,也会在下载时因路径不存在触发异常。
正确实现方案

实现逻辑

  • 循环外一次性初始化s3客户端实例,全局复用
  • 遍历对象时自动跳过S3虚拟目录的占位对象(这类对象无实际文件内容,key值和指定前缀完全一致)
  • 仅筛选后缀为.csv的文件,跳过非目标格式内容
  • 调用下载接口时严格按照参数规范传入字符串值:download_file(存储桶名称, S3对象的key字符串, 本地保存路径字符串)
  • 自动创建本地对应的目录结构,避免因路径不存在导致下载失败

可直接运行的参考代码

import os
import boto3

# 全局复用s3客户端,无需在循环内重复创建
s3_client = boto3.client('s3')
bucket_name = '替换为你的实际S3存储桶名称'
target_prefix = 'product/myproject/2021-02-15/'

# 获取指定前缀下的所有对象
bucket = boto3.resource('s3').Bucket(bucket_name)
s3_objects = list(bucket.objects.filter(Prefix=target_prefix))

for obj in s3_objects:
    # 跳过S3虚拟目录占位对象
    if obj.key == target_prefix:
        continue
    # 仅保留CSV格式文件,兼容大小写后缀
    if not obj.key.lower().endswith('.csv'):
        continue

    # 按S3的原始路径结构生成本地保存路径
    local_save_path = obj.key
    # 提前创建本地父目录
    parent_dir = os.path.dirname(local_save_path)
    if parent_dir and not os.path.exists(parent_dir):
        os.makedirs(parent_dir, exist_ok=True)

    # 按参数规范执行下载
    s3_client.download_file(bucket_name, obj.key, local_save_path)

注意事项

  • 需将代码中的bucket_name替换为实际的存储桶名称,原代码中写的'bucket'是占位符,并非可用的真实桶名
  • 代码中对文件后缀做了小写兼容判断,可以同时匹配.csv和.CSV两种大小写后缀的文件
  • 通过exist_ok=True参数创建目录,可避免因目录已存在触发重复创建的报错

内容的提问来源于stack exchange,提问作者kwsong0314

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.03 14:54:05