Python PostgreSQL CSV导入空字段：Insert语句值异常问题

这种把单个值误识别成数组的坑我之前也踩过，既然已经搞定了空值过滤逻辑，咱们直接聚焦到INSERT语句的生成细节上：

问题根源分析 #

你遇到的数组问题，大概率是这两种情况导致的：

1. 拼接VALUES部分时，错误地把单个值用列表格式包裹了（比如写成['abc']而不是'abc'），PostgreSQL会把带方括号的字符串识别为数组字面量。
2. 手动拼接字符串值时没加单引号，或者转义处理不当，导致语法被误判成数组格式。

正确解决思路：用参数化查询替代手动拼接SQL #

手动拼SQL不仅容易出格式问题，还存在SQL注入风险，用PostgreSQL的参数化查询（%s占位符）能一次性解决这些问题，完美适配你的空值过滤需求。

给你一个可直接复用的示例代码：

import csv
import psycopg2

# 建立数据库连接
conn = psycopg2.connect(
    dbname="你的数据库名",
    user="你的用户名",
    password="你的密码",
    host="localhost"
)
cursor = conn.cursor()

target_table = "你的目标表名"
batch_size = 1000  # 每1000行提交一次，提升大文件导入效率

with open("你的大CSV文件.csv", "r", encoding="utf-8") as f:
    reader = csv.DictReader(f)
    for row_idx, row in enumerate(reader, start=1):
        # 过滤空值：去掉值为空/纯空格的列
        filtered_cols = {
            col: val.strip() 
            for col, val in row.items() 
            if val.strip() != ""
        }
        
        if not filtered_cols:
            # 跳过全空的行
            continue
        
        # 提取列名和对应的值
        column_names = list(filtered_cols.keys())
        column_values = list(filtered_cols.values())
        
        # 生成带占位符的INSERT语句
        placeholders = ", ".join(["%s"] * len(column_names))
        insert_sql = f"""
            INSERT INTO {target_table} ({", ".join(column_names)})
            VALUES ({placeholders})
        """
        
        try:
            cursor.execute(insert_sql, column_values)
            # 批量提交，减少数据库IO开销
            if row_idx % batch_size == 0:
                conn.commit()
                print(f"已提交 {row_idx} 行数据")
        except Exception as e:
            print(f"第 {row_idx} 行出错：{str(e)}")
            conn.rollback()
            # 可选择跳过错误行或终止程序
            continue

# 提交剩余未提交的行
conn.commit()
cursor.close()
conn.close()
print("数据导入完成！")

关键细节说明 #

• 参数化占位符%s：psycopg2会自动根据值的类型处理格式——字符串自动加单引号并转义内部单引号，数字直接传入，完全不会出现单个值被识别为数组的问题。
• 批量提交：针对12.5万行的大文件，批量提交能大幅降低数据库的IO压力，避免内存溢出。
• 空值过滤：保留了你原本的核心逻辑，确保只插入有有效数据的列。

如果之前你是手动拼接VALUES字符串（比如用", ".join(str(v) for v in values)），替换成参数化写法后，数组问题会直接消失。

内容的提问来源于stack exchange，提问作者Locust