使用boto3下载S3指定文件夹CSV文件报ValueError的解决方法
报错原因分析
原代码触发*valueError: Filename must be a string*的核心问题:
bucket.objects.filter(Prefix=key)返回的是ObjectSummary类型的对象实例,并非可直接作为函数参数的字符串。调用download_file时,没有提取对象对应的S3路径字符串,直接把对象实例传入了需要本地文件路径的参数位置,触发类型校验报错。- 循环内部反复初始化s3客户端,属于不必要的性能损耗。
- 未实现CSV文件的筛选逻辑,会尝试下载指定路径下的所有类型文件,不符合仅下载CSV的需求。
- 直接使用S3全路径作为本地文件名时,不会自动创建对应的本地目录结构,也会在下载时因路径不存在触发异常。
正确实现方案
实现逻辑
- 循环外一次性初始化s3客户端实例,全局复用
- 遍历对象时自动跳过S3虚拟目录的占位对象(这类对象无实际文件内容,key值和指定前缀完全一致)
- 仅筛选后缀为
.csv的文件,跳过非目标格式内容 - 调用下载接口时严格按照参数规范传入字符串值:
download_file(存储桶名称, S3对象的key字符串, 本地保存路径字符串) - 自动创建本地对应的目录结构,避免因路径不存在导致下载失败
可直接运行的参考代码
import os import boto3 # 全局复用s3客户端,无需在循环内重复创建 s3_client = boto3.client('s3') bucket_name = '替换为你的实际S3存储桶名称' target_prefix = 'product/myproject/2021-02-15/' # 获取指定前缀下的所有对象 bucket = boto3.resource('s3').Bucket(bucket_name) s3_objects = list(bucket.objects.filter(Prefix=target_prefix)) for obj in s3_objects: # 跳过S3虚拟目录占位对象 if obj.key == target_prefix: continue # 仅保留CSV格式文件,兼容大小写后缀 if not obj.key.lower().endswith('.csv'): continue # 按S3的原始路径结构生成本地保存路径 local_save_path = obj.key # 提前创建本地父目录 parent_dir = os.path.dirname(local_save_path) if parent_dir and not os.path.exists(parent_dir): os.makedirs(parent_dir, exist_ok=True) # 按参数规范执行下载 s3_client.download_file(bucket_name, obj.key, local_save_path)
注意事项
- 需将代码中的
bucket_name替换为实际的存储桶名称,原代码中写的'bucket'是占位符,并非可用的真实桶名 - 代码中对文件后缀做了小写兼容判断,可以同时匹配
.csv和.CSV两种大小写后缀的文件 - 通过
exist_ok=True参数创建目录,可避免因目录已存在触发重复创建的报错
内容的提问来源于stack exchange,提问作者kwsong0314
相关产品推荐
相关产品推荐

