如何通过DuckDB访问Moto模拟的AWS S3存储桶

问题分析 #

你遇到的HTTP 400错误，本质是DuckDB仍在请求AWS官方S3端点（s3.amazonaws.com），而非Moto本地模拟的S3服务。要让DuckDB指向Moto的模拟存储桶，需要额外配置DuckDB的S3相关参数，适配Moto的运行特性。

解决方案步骤 #

1. 添加DuckDB的S3端点与SSL配置 #

Moto默认运行在localhost:5000且不启用HTTPS，需在DuckDB连接配置中添加以下核心参数：

• s3_endpoint: 指定Moto的本地服务端点
• s3_use_ssl: 关闭SSL验证（Moto默认不支持HTTPS）
• s3_style: 切换为路径格式（部分Moto版本对虚拟主机格式支持不佳）

2. 统一测试环境的凭证配置 #

Moto测试环境对凭证校验宽松，可直接使用任意非空的访问密钥，无需从STS获取真实临时凭证（测试环境下可硬编码或通过环境变量注入）。

3. 修改测试代码中的DuckDB配置 #

在测试类的setUp方法中，补充测试专属的DuckDB配置：

def setUp(self):
    try:
        # 原有的S3模拟初始化代码
        self.s3_client = boto3.client('s3', region_name=self.aws_region)
        self.s3_resource = boto3.resource('s3', region_name=self.aws_region)
        self.s3_bucket = self.s3_resource.create_bucket(
            Bucket=self.dp_s3_bucket_name, 
            CreateBucketConfiguration={'LocationConstraint': self.aws_region}
        )
        
        # 初始化DuckDB并添加测试专属配置
        self.db_conn.execute(f"SET s3_region='{self.aws_region}';")
        # 指定Moto本地端点
        self.db_conn.execute("SET s3_endpoint='localhost:5000';")
        # 关闭SSL验证
        self.db_conn.execute("SET s3_use_ssl=false;")
        # 使用路径格式访问S3
        self.db_conn.execute("SET s3_style='path';")
        # Moto测试环境可使用任意非空凭证
        self.db_conn.execute("SET s3_access_key_id='fake_access_key';")
        self.db_conn.execute("SET s3_secret_access_key='fake_secret_key';")
        # 测试环境无需session token，可注释或删除原相关配置
        self.db_conn.execute(f"SET memory_limit='{self.memory_limit}';")

4. 验证S3路径格式 #

确保DuckDB访问文件的路径使用路径格式，例如：

SELECT * FROM read_parquet('s3://{bucket_name}/{s3_path}/test_file.parquet');

避免依赖虚拟主机格式（Moto对该格式兼容性较差）。

关键参数说明 #

• s3_endpoint: 强制DuckDB将S3请求发送到Moto本地服务，而非AWS官方端点
• s3_use_ssl=false: 规避Moto无HTTPS服务导致的证书验证错误
• s3_style='path': 让DuckDB使用http://localhost:5000/{bucket_name}/{path}的请求格式，适配Moto的路由规则

内容的提问来源于stack exchange，提问作者anonymus1205