使用Pandas直接读取AWS S3桶文件速度过慢问题求助

我之前也碰到过从S3直接读取文件到Pandas时速度拉胯的问题，结合自己的踩坑经验，给你几个亲测有效的优化方向：

1. 利用Pandas原生的S3路径支持 #

其实Pandas本身已经支持直接解析s3://格式的路径，不需要手动用boto3或s3fs处理IO流——前提是你已经安装了s3fs或fsspec依赖。这种方式底层会自动调用优化的读取逻辑，比手动封装BytesIO更高效：

import pandas as pd
# 直接传入S3路径即可
df = pd.read_csv("s3://bucket_name/path/to/file.csv")

2. 分块+多线程处理大文件 #

如果你的文件体积较大，单线程读取会很慢。可以用Pandas的chunksize参数分块读取，再结合多线程并行处理（S3读取是IO密集型任务，多线程能有效提升效率）：

import pandas as pd
from concurrent.futures import ThreadPoolExecutor

def process_chunk(chunk):
    # 这里可以加入你的数据预处理逻辑
    return chunk

# 按10万行一块拆分文件
chunk_iter = pd.read_csv("s3://bucket_name/path/to/file.csv", chunksize=100000)

# 用4个线程并行处理各分块
with ThreadPoolExecutor(max_workers=4) as executor:
    processed_chunks = list(executor.map(process_chunk, chunk_iter))

# 合并所有分块成完整DataFrame
df = pd.concat(processed_chunks, ignore_index=True)

3. 优化S3客户端的连接配置 #

不管是用boto3还是s3fs，默认的连接池大小和超时配置都偏保守，调整这些参数能显著提升读取速度：

针对boto3的配置 #

import boto3
import io
import pandas as pd
from botocore.config import Config

# 增大连接池、调整超时时间
s3_config = Config(
    max_pool_connections=50,  # 默认是10，调大后支持更多并发连接
    read_timeout=300,
    connect_timeout=30
)

s3 = boto3.client('s3', config=s3_config)
obj = s3.get_object(Bucket='bucket_name', Key="path/to/file.csv")
read_file = io.BytesIO(obj['Body'].read())
df = pd.read_csv(read_file)

针对s3fs的配置 #

import s3fs
import pandas as pd

# 给s3fs传入优化后的客户端配置
fs = s3fs.S3FileSystem(
    anon=False,
    config_kwargs={'max_pool_connections': 50}
)

with fs.open('bucket_name/path/to/file.csv', 'rb') as f:
    df = pd.read_csv(f)

4. 检查S3存储类别与文件拆分 #

• 如果你的文件存在Glacier、S3 Infrequent Access这类冷存储上，读取时会有取回延迟，建议迁移到S3 Standard存储类；
• 如果是超大文件（比如几十GB），建议拆分成多个小文件（比如每个文件1-5GB），然后用并行方式读取多个文件：

import s3fs
import pandas as pd
from concurrent.futures import ThreadPoolExecutor

fs = s3fs.S3FileSystem(anon=False)
# 获取所有小文件的路径
file_paths = [f"s3://{path}" for path in fs.glob('bucket_name/path/to/split_files/*.csv')]

def read_single_file(file_path):
    return pd.read_csv(file_path)

with ThreadPoolExecutor(max_workers=8) as executor:
    dfs = list(executor.map(read_single_file, file_paths))

df = pd.concat(dfs, ignore_index=True)

5. 使用AWS Data Wrangler #

AWS官方推出的awswrangler库专门优化了AWS生态的数据读写，底层基于boto3和Pandas，但做了大量性能优化（比如默认多线程、智能分块），用法也很简洁：

import awswrangler as wr
# 自动并行读取，速度比原生Pandas快很多
df = wr.s3.read_csv(path='s3://bucket_name/path/to/file.csv')

你可以先从调整S3客户端连接池参数或者尝试AWS Data Wrangler入手，这两个方法我当时用了之后速度提升非常明显。

内容的提问来源于stack exchange，提问作者Daniil Balabanov