PyIceberg 0.10.0使用boto3会话操作S3Tables时Overwrite认证异常问题

PyIceberg 0.10.0中，REST Catalog配置的botocore会话仅在元数据操作（加载表、获取Schema）时生效，而overwrite()这类数据写入操作会直接创建新的存储客户端，未复用已配置的botocore会话，导致凭证验证失败触发AWS 400错误。以下是无需依赖AWS环境变量的解决办法：

手动绑定自定义botocore会话到表的存储客户端 #

直接为加载后的Table对象替换使用指定botocore会话的S3FileIO实例，确保写入操作使用正确的凭证签名：

from pyiceberg.catalog import load_catalog
from pyiceberg.io.s3 import S3FileIO
import botocore.session

# 初始化带自定义botocore会话的REST Catalog
botocore_session = botocore.session.Session(profile_name="your-custom-profile")
catalog = load_catalog(
    "rest_catalog",
    **{
        "type": "rest",
        "uri": "https://your-rest-catalog-endpoint",
        # 占位字段，避免触发默认凭证链
        "s3.access-key-id": "placeholder",
        "s3.secret-access-key": "placeholder",
        "botocore.session": botocore_session,
    }
)

# 加载目标表
table = catalog.load_table("database.table_name")

# 替换表的IO客户端为带指定botocore会话的实例
table.io = S3FileIO(botocore_session=botocore_session)

# 执行overwrite操作
rows = [...]  # 你的数据行
table.overwrite().append(rows).commit()

额外建议 #

• 该问题属于PyIceberg 0.10.0的已知行为缺陷，后续版本（如0.11.0及以上）可能已修复会话复用逻辑，可尝试升级版本验证。
• 若使用非S3的云存储类型，可对应替换为对应存储的FileIO实现，并传入botocore会话配置。

内容的提问来源于stack exchange，提问作者Flo