如何将RDS Postgres查询结果导出至S3 Parquet文件？

针对你的需求——支持任意复杂查询、无需数据库写入权限、无需创建临时表/视图，以下是三个经过验证的可行方案：

方案1：Athena 联合查询 + CTAS 导出（无代码、无需数据库写权限） #

通过Athena的Postgres连接器实现跨数据源查询，直接用CREATE TABLE AS SELECT (CTAS)语句将查询结果以Parquet格式写入S3，全程不需要在Postgres内做任何写入操作。

操作步骤： #

1. 在AWS Glue数据目录中配置Postgres连接器：填入RDS端点、数据库名、IAM权限（确保Athena能访问RDS和目标S3桶）
2. 编写Athena SQL完成导出：

CREATE TABLE s3_parquet_output
WITH (
    format = 'PARQUET',
    external_location = 's3://your-bucket/path/to/output/',
    -- 可选：按字段分区存储，优化后续查询
    partitioned_by = ARRAY['create_date'],
    -- 可选：配置压缩格式
    compression = 'SNAPPY'
)
AS
-- 这里替换成你的任意复杂查询，关联、子查询、聚合都支持
SELECT t1.id, t1.name, t2.order_amount 
FROM "your-glue-db"."postgres-table1" t1
JOIN "your-glue-db"."postgres-table2" t2 ON t1.id = t2.user_id
WHERE t1.create_date >= '2024-01-01'

注意事项： #

• 确保Athena角色拥有rds-db:connect权限和S3写入权限
• 少数Postgres特殊类型（如JSONB）需手动转换为Athena兼容类型（如CAST(jsonb_col AS JSON)）

方案2：psql + DuckDB + AWS CLI（轻量灵活、适合小到中等数据量） #

用psql导出查询结果为CSV，再通过轻量OLAP引擎DuckDB将CSV转成Parquet，最后用AWS CLI上传到S3。全程仅需Postgres的读权限，无需临时表。

操作步骤： #

1. 用psql导出查询结果（支持流式输出，无需本地存储大文件）：

psql -h your-rds-endpoint -U your-username -d your-dbname -c "COPY (
    -- 你的复杂查询
    SELECT * FROM table1 JOIN table2 ON table1.id = table2.id WHERE table1.status = 'active'
) TO STDOUT WITH CSV HEADER"

2. 流式转换为Parquet并上传到S3（省略本地文件）：

psql -h your-rds-endpoint -U your-username -d your-dbname -c "COPY (你的复杂查询) TO STDOUT WITH CSV HEADER" | 
duckdb -c "COPY (SELECT * FROM read_csv_auto('/dev/stdin')) TO '/dev/stdout' (FORMAT PARQUET)" | 
aws s3 cp - s3://your-bucket/path/to/output/result.parquet

注意事项： #

• DuckDB对Postgres数据类型兼容性极强，无需额外转换
• 适合GB级以内的数据量，避免本地存储压力

方案3：AWS Glue Spark作业（适合大数据量、批处理场景） #

利用Glue的Spark分布式能力，通过JDBC直接读取Postgres查询结果，写入Parquet到S3。无需Postgres写权限，也不需要临时表。

操作步骤： #

1. 创建Glue Python作业，配置IAM角色（需包含RDS访问权限和S3写入权限）
2. 编写Spark代码示例：

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

# 读取Postgres查询结果，直接传入子查询
df = spark.read.format("jdbc") \
    .option("url", "jdbc:postgresql://your-rds-endpoint:5432/your-dbname") \
    .option("dbtable", "(SELECT t1.*, t2.order_count FROM table1 t1 LEFT JOIN (SELECT user_id, COUNT(*) as order_count FROM table2 GROUP BY user_id) t2 ON t1.id = t2.user_id) AS query_result") \
    .option("user", "your-username") \
    .option("password", "your-password") \
    .load()

# 写入Parquet到S3，支持分区和压缩
df.write.format("parquet") \
    .mode("overwrite") \
    .option("compression", "snappy") \
    .partitionBy("create_date") \
    .save("s3://your-bucket/path/to/output/")

注意事项： #

• 适合TB级大数据量，Spark分布式处理效率高
• 敏感信息（如数据库密码）建议用AWS Secrets Manager存储，避免硬编码

方案对比 #

内容的提问来源于stack exchange，提问作者benjimin