Python导入含Null值JSON至PostgreSQL时遇类型错误求助

问题分析 #

错误expected string or bytes-like object, got 'NoneType'通常出现在尝试对None值执行字符串操作（比如strip()、encode()）时，或是psycopg2绑定参数时遇到类型不匹配——比如把None传给了数据库定义为非nullable的字段，或是处理空字符串时误将合法空字符串转成None，触发了类型校验问题。

解决方案步骤 #

1. 对齐JSON数据与表结构 #

假设你的示例JSON、表结构如下：

示例JSON

[
  {"loan_id": "L001", "customer_name": "", "email": null, "amount": 10000},
  {"loan_id": "L002", "customer_name": "John Doe", "email": "john@example.com", "amount": null}
]

PostgreSQL表结构

CREATE TABLE loan_info (
    loan_id VARCHAR(20) PRIMARY KEY,
    customer_name VARCHAR(50),
    email VARCHAR(100),
    amount NUMERIC(12,2)
);

2. 修正空值处理逻辑 #

不要盲目将所有空值转成None，需区分两种空值场景：

• JSON中的null直接映射为Python的None（psycopg2会自动转成PostgreSQL的NULL）
• JSON中的空字符串""保留为Python空字符串，除非数据库字段要求非空，再考虑转成None或填充默认值

错误处理示例（可能是你之前的写法）

# 错误：把空字符串也转成None，导致字符串字段接收None时触发类型校验
for item in json_data:
    for k, v in item.items():
        if v == "" or v is None:
            item[k] = None

正确处理代码

import json
import psycopg2
from psycopg2 import sql

# 读取JSON数据
with open('loans.json', 'r') as f:
    json_data = json.load(f)

# 连接PostgreSQL
conn = psycopg2.connect(
    dbname="your_db_name",
    user="your_username",
    password="your_password",
    host="localhost"
)
cur = conn.cursor()

# 参数化插入SQL模板
insert_sql = sql.SQL("""
    INSERT INTO loan_info (loan_id, customer_name, email, amount)
    VALUES (%s, %s, %s, %s)
""")

# 遍历处理数据：仅保留JSON null转Python None，空字符串原样传入
for item in json_data:
    # 按SQL字段顺序整理参数
    values = (
        item.get('loan_id'),
        item.get('customer_name'),  # 空字符串直接传入
        item.get('email'),          # JSON null自动转为Python None
        item.get('amount')          # 数值类型None自动映射为PostgreSQL NULL
    )
    try:
        cur.execute(insert_sql, values)
        conn.commit()
    except Exception as e:
        print(f"插入失败，数据: {item}，错误信息: {str(e)}")
        conn.rollback()

# 关闭连接
cur.close()
conn.close()

3. 排查类型不匹配问题 #

若仍报错，检查以下点：

• 数据库字段是否有NOT NULL约束：如果字段被定义为非空，但JSON存在null/空字符串，需提前过滤或填充默认值
• 数值字段传入字符串：比如amount是NUMERIC类型，但JSON中是字符串格式（如"10000"），需转为int/float，或用psycopg2.extensions.register_adapter做类型适配
• 特殊空值处理：若空字符串包含不可见字符，可先清理：v.strip() if isinstance(v, str) else v

核心注意事项 #

• psycopg2原生支持Python的None映射为PostgreSQL的NULL，无需额外转换
• PostgreSQL中空字符串""与NULL是不同值，不要随意互相转换
• 始终使用参数化查询（%s占位符），避免SQL注入同时自动处理类型映射

内容的提问来源于stack exchange，提问作者P Mishra