PieCloudDB是否支持直接从Amazon S3加载数据？如何配置？

PieCloudDB完全支持直接从Amazon S3对象存储加载数据文件，它基于PostgreSQL生态的外部数据包装器（FDW）实现了这一能力，无需先将文件下载到本地再导入。

具体配置步骤如下： #

• 安装S3 FDW扩展
  首先在PieCloudDB中创建s3_fdw扩展，执行以下SQL命令：

  CREATE EXTENSION s3_fdw;
  

• 创建S3服务器对象
  定义连接到Amazon S3的服务器参数，替换示例中的密钥、区域为你自己的信息：

  CREATE SERVER s3_server FOREIGN DATA WRAPPER s3_fdw
  OPTIONS (
      endpoint 's3.amazonaws.com',
      region 'us-east-1',
      access_key_id '你的AWS访问密钥ID',
      secret_access_key '你的AWS秘密访问密钥'
  );
  

• 创建用户映射
  将当前PieCloudDB用户与S3服务器关联，确保有权限访问：

  CREATE USER MAPPING FOR 当前数据库用户名 SERVER s3_server;
  

• 创建外部表映射S3文件
  根据你S3上的数据文件格式（以CSV为例）创建外部表，替换桶名、文件路径和表结构为实际信息：

  CREATE FOREIGN TABLE s3_data (
      id INT,
      name TEXT,
      value NUMERIC
  ) SERVER s3_server
  OPTIONS (
      bucket '你的S3桶名称',
      path '数据文件所在的桶内路径/',
      format 'csv',
      delimiter ',',
      header 'true'
  );
  

  若文件是Parquet格式，只需将format参数改为'parquet'即可。

• 将S3数据导入本地表
  直接通过SELECT语句把外部表的数据插入到PieCloudDB的本地表中：

  INSERT INTO 本地表名 SELECT * FROM s3_data;
  

注意事项 #

• 确保你的AWS访问密钥拥有目标S3桶的读权限，否则会出现访问被拒绝的错误。
• S3桶所在区域必须与创建服务器时指定的region参数一致。
• 支持的文件格式包括CSV、Parquet、JSON等，可根据实际情况调整format参数。

内容的提问来源于stack exchange，提问作者heihei Li