如何用boto3客户端读取AWS S3中的SAS7BDAT文件至DataFrame

所需依赖 #

先确保安装必要的库：

pip install boto3 pandas sas7bdat

实现代码 #

无需将文件下载到本地，直接通过字节流读取转换：

import boto3
import pandas as pd
from io import BytesIO

# 初始化S3客户端（优先用IAM角色/环境变量配置凭证，别硬编码密钥）
s3 = boto3.client('s3')

# 替换为你的存储桶名和文件在S3中的完整路径
bucket_name = 'your-target-bucket'
s3_file_key = 'path/to/file.SAS7bDAT'

# 获取S3对象的字节流
s3_response = s3.get_object(Bucket=bucket_name, Key=s3_file_key)
sas_file_stream = BytesIO(s3_response['Body'].read())

# 方式1：用pandas内置方法读取
df = pd.read_sas(sas_file_stream, format='sas7bdat')

# 方式2：用sas7bdat库读取（复杂SAS文件兼容性更强）
# from sas7bdat import SAS7BDAT
# with SAS7BDAT(sas_file_stream) as sas_reader:
#     df = sas_reader.to_data_frame()

# 验证读取结果
print(df.head())

关键说明 #

• 凭证配置：禁止在代码中硬编码AWS密钥，优先通过IAM角色（适用于EC2/ECS等AWS服务内运行的代码）、环境变量或~/.aws/credentials配置文件提供凭证。
• 编码问题：若读取时出现编码错误，可尝试给读取方法添加encoding参数，比如encoding='latin1'或encoding='utf-8'，根据文件实际编码调整。
• 大文件处理：如果文件体积过大，建议使用分块读取方式避免内存溢出，可参考pandas的分块参数或sas7bdat的迭代器功能。

内容的提问来源于stack exchange，提问作者PythonDeveloper