如何将Parquet格式的RDS快照加载到本地PostgreSQL中

下面是几种可行的方案，根据你的数据规模和技术栈选择：

方法一：Python脚本轻量导入（适合中小规模数据） #

用PyArrow读取Parquet文件，结合Pandas和SQLAlchemy批量写入PostgreSQL，灵活易调整。

1. 安装依赖工具包：

pip install pyarrow pandas psycopg2-binary sqlalchemy

2. 编写导入脚本（示例）：

import os
import pyarrow.parquet as pq
import pandas as pd
from sqlalchemy import create_engine

# 替换成你的本地PostgreSQL连接信息
DB_URL = "postgresql://你的用户名:密码@localhost:5432/目标数据库名"
engine = create_engine(DB_URL)

# 替换成你同步到本地的Parquet文件根目录
PARQUET_ROOT = "./snapshotbucketname"

# 遍历每个表对应的目录
for table_dir in os.listdir(PARQUET_ROOT):
    table_path = os.path.join(PARQUET_ROOT, table_dir)
    if not os.path.isdir(table_path):
        continue
    
    # 表名建议统一小写，符合PostgreSQL命名习惯
    table_name = table_dir.lower()
    print(f"开始处理表: {table_name}")
    
    # 读取整个目录的Parquet分片文件
    parquet_table = pq.read_table(table_path)
    df = parquet_table.to_pandas()
    
    # 写入数据库（假设你已经提前创建好匹配的表结构）
    df.to_sql(
        name=table_name,
        con=engine,
        if_exists="append",
        index=False,
        chunksize=10000  # 大表分块写入，避免内存溢出
    )
    print(f"表 {table_name} 导入完成")

关键注意点：

• 必须提前在本地PostgreSQL创建和原RDS一致的表结构，包括字段类型、长度、约束。可以用pg_dump --schema-only -h RDS地址 -U RDS用户名 原数据库名 > schema.sql导出原表结构，再在本地执行这个SQL文件创建表。
• 如果自动转换的字段类型有问题（比如Parquet的TIMESTAMP对应PostgreSQL的TIMESTAMP WITH TIME ZONE），需要在脚本里手动调整DataFrame的字段类型后再导入。

方法二：Apache Spark批量导入（适合大规模数据） #

如果数据量极大，单进程Python处理太慢，用Spark分布式处理效率更高。

1. 准备工作：

• 安装Apache Spark
• 下载PostgreSQL JDBC驱动（比如postgresql-42.6.0.jar），放到Spark安装目录的jars文件夹下

2. 编写Spark导入脚本（Python示例）：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("ParquetToPG") \
    .getOrCreate()

# 读取单个表的Parquet目录，多表的话可以循环遍历目录
parquet_table_path = "./snapshotbucketname/你的表目录名"
df = spark.read.parquet(parquet_table_path)

# 写入本地PostgreSQL
df.write \
    .format("jdbc") \
    .option("url", "jdbc:postgresql://localhost:5432/目标数据库名") \
    .option("dbtable", "目标表名") \
    .option("user", "你的用户名") \
    .option("password", "你的密码") \
    .mode("append") \
    .save()

spark.stop()

关键注意点：

• Spark会自动处理Parquet的分片文件，不需要手动合并
• 可以通过repartition(n)调整分区数，优化写入速度

方法三：PostgreSQL Parquet外部表（直接挂载导入） #

用parquet_fdw扩展直接在PostgreSQL中挂载Parquet文件，然后导入到本地表，适合熟悉PostgreSQL扩展的用户。

1. 安装parquet_fdw扩展：

# Debian/Ubuntu系统先安装依赖
sudo apt-get install libarrow-dev libparquet-dev

# 编译安装扩展
git clone https://github.com/adjust/parquet_fdw.git
cd parquet_fdw
make && sudo make install

2. 在PostgreSQL中操作：

-- 连接到目标数据库
\c 目标数据库名

-- 创建扩展
CREATE EXTENSION parquet_fdw;

-- 创建外部服务器
CREATE SERVER parquet_server FOREIGN DATA WRAPPER parquet_fdw;

-- 创建外部表（必须和Parquet文件的字段、类型完全匹配）
CREATE FOREIGN TABLE temp_parquet_table (
    id BIGINT,
    username TEXT,
    create_time TIMESTAMP
) SERVER parquet_server
OPTIONS (filename '/本地Parquet文件目录/*.parquet');

-- 导入数据到本地表（提前创建好结构一致的本地表）
INSERT INTO 本地表名 SELECT * FROM temp_parquet_table;

-- 清理临时资源（可选）
DROP FOREIGN TABLE temp_parquet_table;
DROP SERVER parquet_server;

通用注意事项：

• 导入完成后，需要手动重建原表的索引、主键、外键等约束，因为Parquet文件不存储这些元数据
• 如果遇到字段类型不兼容，先检查Parquet文件的字段类型（可以用parquet-tools inspect 文件名.parquet查看），再调整本地表结构或转换脚本

内容的提问来源于stack exchange，提问作者Mike 'Pomax' Kamermans