如何将CSV数据逐行插入PostgreSQL中已创建的hypertable超表

Python 实现（兼顾开发效率与插入性能） #

你可以用psycopg2的批量提交+逐行预处理的方案，既支持每行插入前做自定义逻辑校验/转换，又远快于单条提交：

• 第一步：安装依赖：pip install psycopg2-binary
• 核心实现逻辑：

import psycopg2
import csv

# 数据库连接参数
conn_params = {
    "dbname": "你的库名",
    "user": "用户名",
    "password": "密码",
    "host": "地址",
    "port": 5432
}

# 单次批量提交的行数，可根据硬件配置调整，100-1000区间都可以，性能比单条插入提升几十倍
BATCH_SIZE = 500

if __name__ == "__main__":
    conn = psycopg2.connect(**conn_params)
    cur = conn.cursor()
    # 预编译插入语句，避免重复解析SQL
    insert_sql = "INSERT INTO 你的超表名 (列1,列2,列3,列4,列5) VALUES (%s, %s, %s, %s, %s)"
    batch_buffer = []
    
    with open("你的csv文件路径", "r", encoding="utf-8") as f:
        reader = csv.reader(f)
        # 如果CSV有表头就跳过第一行，没有就注释掉下面这句
        next(reader)
        for row in reader:
            # 这里写你的逐行条件判断逻辑，比如过滤异常行、转换格式等，符合条件的才放入缓冲
            # 示例：if int(row[2]) < 0: continue 直接跳过不符合要求的行
            batch_buffer.append(tuple(row))
            # 攒够批量大小就提交
            if len(batch_buffer) >= BATCH_SIZE:
                cur.executemany(insert_sql, batch_buffer)
                conn.commit()
                batch_buffer = []
    # 提交最后剩余的不足批量的行
    if batch_buffer:
        cur.executemany(insert_sql, batch_buffer)
        conn.commit()
    
    cur.close()
    conn.close()

如果还需要更高性能，可以用psycopg2的copy_from接口搭配自定义的类文件对象，逐行处理后喂给copy接口，性能接近原生COPY

C 实现（极致性能需求可选） #

用libpq的批量参数绑定接口实现，逻辑和Python版一致：

• 核心思路是提前调用PQprepare预编译SQL，攒够批量后用PQexecPrepared批量执行，提交频率可自定义
• 编译时需要链接libpq库，编译命令示例：gcc your_code.c -o insert_hypertable -lpq
• 关键代码片段：

#include <libpq-fe.h>
#include <stdio.h>
#include <stdlib.h>

#define BATCH_SIZE 500
#define PARAM_COUNT 5

int main() {
    PGconn *conn = PQconnectdb("dbname=你的库名 user=用户名 password=密码 host=地址 port=5432");
    if (PQstatus(conn) != CONNECTION_OK) {
        fprintf(stderr, "连接失败: %s", PQerrorMessage(conn));
        PQfinish(conn);
        exit(1);
    }

    // 预编译插入语句
    PGresult *res = PQprepare(conn, "insert_stmt", 
        "INSERT INTO 你的超表名 (列1,列2,列3,列4,列5) VALUES ($1, $2, $3, $4, $5)", 
        PARAM_COUNT, NULL);
    PQclear(res);

    // 此处补充CSV读取和批量缓冲逻辑，逐行处理后攒够BATCH_SIZE就调用PQexecPrepared批量执行
    // 读取CSV可直接用libcsv等开源库简化开发

    PQfinish(conn);
    return 0;
}

性能优化提示 #

• 导入前可以临时关闭超表的非必要索引、约束检查，导入完成后再重建，性能提升非常明显
• 调整批量大小可以找到最优性能点，一般100-1000行的批量性能已经接近原生COPY的80%以上，同时保留逐行处理的灵活性
• 如果不需要严格的逐行事务，关闭自动提交、手动批量提交即可

内容的提问来源于stack exchange，提问作者Newbie