如何将键序不固定的多份JSON数据插入PostgreSQL表

问题根源 #

现有代码的错误来源于两处强依赖顺序的逻辑：

1. 动态从返回JSON的首个元素提取列名顺序，API返回的键顺序变化会直接导致取值顺序错乱
2. INSERT语句未显式指定插入字段，默认按照表结构的列顺序匹配传入值，两者顺序不匹配就会出现字段类型不匹配的报错。

修复方案 #

1. 固定插入字段顺序 #

不要从API响应中动态提取列名，直接按照你的PostgreSQL表的列定义写死字段顺序：

# 完全匹配表结构的列顺序，不受API返回JSON的键顺序影响
FIXED_INSERT_COLUMNS = ['created_at', 'id', 'author_id', 'text']

2. 显式指定INSERT语句的插入字段 #

修改SQL语句，明确标注插入对应的字段，避免依赖表的默认列顺序：

insert_sql = f"INSERT INTO tweets ({','.join(FIXED_INSERT_COLUMNS)}) VALUES (%s, %s, %s, %s)"

3. 按固定顺序取值（可搭配批量插入优化性能） #

原有循环单条插入的效率很低，针对单次最多500条的返回结果，可以直接用executemany批量插入，同时加入容错处理避免JSON缺失字段时报错：

data = json_response['data']
# 按固定字段顺序取值，缺失字段自动填NULL
insert_values = [[item.get(col, None) for col in FIXED_INSERT_COLUMNS] for item in data]
# 批量执行插入
cur.executemany(insert_sql, insert_values)

修改后无论API返回的JSON键顺序怎么变化，都会按照表结构的要求从JSON中取对应字段的值插入，不会再出现类型不匹配的错误。

内容的提问来源于stack exchange，提问作者PretendNotToSuck