pandas to_csv写入S3时CreateBucket操作AccessDenied错误如何解决

该报错不是pandas真的要创建已存在的存储桶，是pandas操作S3的底层依赖库s3fs的默认逻辑导致的：写入文件前会先校验目标桶是否存在，如果校验请求因为权限不足失败，s3fs会判定桶不存在，触发默认的自动创建桶逻辑，才会调用CreateBucket接口抛出权限错误。
你当前的IAM策略只开放了s3:ListBucket和对象级操作权限，缺少桶存在性校验必需的权限，导致校验请求失败，触发了误判。

方案1：补充最小必要权限到IAM策略 #

在你现有的策略Statement里新增桶级权限即可，修改后的完整策略如下：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ListObjectsInBucket",
            "Effect": "Allow",
            "Action": ["s3:ListBucket"],
            "Resource": ["arn:aws:s3:::<my_bucket_name>"]
        },
        {
            "Sid": "BucketExistCheck",
            "Effect": "Allow",
            "Action": ["s3:HeadBucket", "s3:GetBucketLocation"],
            "Resource": ["arn:aws:s3:::<my_bucket_name>"]
        },
        {
            "Sid": "AllObjectActions",
            "Effect": "Allow",
            "Action": "s3:*Object*",
            "Resource": ["arn:aws:s3:::<my_bucket_name>/*"]
        }
    ]
}

新增的两个权限仅用于校验桶的存在性和所属区域，不会扩大其他操作权限，符合最小权限原则。策略更新后等待1-2分钟生效，再执行脚本即可正常运行。

方案2：修改代码配置，关闭s3fs自动创建桶逻辑 #

如果不想修改IAM策略，可以在调用pd.to_csv时通过storage_options参数关闭s3fs的自动创建桶开关，代码修改如下：

pd.to_csv(
    's3://<my_bucket_name>/<file_path>',
    storage_options={"create_bucket": False}
)

该参数会强制s3fs跳过自动创建桶的逻辑，即使桶存在性校验失败也不会调用CreateBucket接口，直接尝试写入对象。

内容的提问来源于stack exchange，提问作者Macklin Fluehr