如何指定AWS非默认Profile和Region，通过Pandas上传DataFrame至S3

刚好碰到过类似的场景，要在多Profile环境里精准控制S3上传的配置，又不想碰环境变量或者默认配置，其实用Pandas的storage_options参数就能完美解决，两种写法都可以，看你偏好：

方法一：显式创建S3FileSystem实例（更直观） #

这种方式适合需要复用S3连接的场景，能清晰看到你指定的Profile和Region：

import pandas as pd
import s3fs

# 构造你的DataFrame
data = [1, 2, 3]
df = pd.DataFrame(data, columns=["value"])

# 用指定的Profile和Region初始化S3连接
s3_fs = s3fs.S3FileSystem(
    profile_name="your_custom_profile",  # 替换成你的非默认Profile名称
    region_name="ap-southeast-1"         # 替换成你需要的Region，比如ap-southeast-1
)

# 上传时通过storage_options传入这个连接对象
s3_url = 's3://my_bucket/path/to/file.parquet'
df.to_parquet(s3_url, storage_options={"s3": s3_fs})

方法二：直接在storage_options里传参数（更简洁） #

如果只是单次上传，直接把Profile和Region参数塞进storage_options就行，底层还是s3fs在处理，不用显式导入：

import pandas as pd

data = [1, 2, 3]
df = pd.DataFrame(data, columns=["value"])

s3_url = 's3://my_bucket/path/to/file.parquet'
df.to_parquet(
    s3_url,
    storage_options={
        "profile_name": "your_custom_profile",
        "region_name": "ap-southeast-1"
    }
)

关键说明： #

• 这两种方法都完全不需要修改环境变量或者AWS凭证文件里的默认配置，所有参数都是代码级指定，非常灵活。
• 确保你的~/.aws/credentials文件里已经配置了目标Profile的密钥信息，比如：

  [your_custom_profile]
  aws_access_key_id = YOUR_ACCESS_KEY
  aws_secret_access_key = YOUR_SECRET_KEY
  

• 代码里的region_name会覆盖Profile在~/.aws/config里的默认Region设置，完全满足你“无法在S3 URL指定Region，要在代码里指定”的需求。

内容的提问来源于stack exchange，提问作者Tomer