使用pandas json_normalize处理含空数组JSON导入SQLite报错问题

这个问题我之前处理过好几次，确实是JSON里的空数组搞的鬼——SQLite没有对应的原生类型来存储Python的list（尤其是空数组），当df.to_sql()尝试把这种类型的数据写入数据库时，就会抛出你遇到的sqlite3.InterfaceError: Error binding parameter 1 - probably unsupported type错误。下面给你两种针对性的解决方案，根据你的实际需求来选：

方案一：不需要展开数组，直接存入数据库 #

如果你的需求是保留数组结构，只是想把它存入SQLite，那可以把数组转成JSON字符串（或者把空数组替换成NULL），让SQLite能识别：

方法1：将数组转成JSON字符串 #

import json
import pandas as pd

# 假设你已经用json_normalize生成了df
df['target_array_col'] = df['target_array_col'].apply(
    lambda x: json.dumps(x) if isinstance(x, list) else x
)

这样数组会被转成"[]"（空数组）或["value1", "value2"]这样的字符串，SQLite可以用TEXT类型存储。后续读取的时候，再用json.loads()转成数组即可。

方法2：将空数组替换成NULL #

如果空数组对你来说没有实际意义，直接转成SQL的NULL更简单：

df['target_array_col'] = df['target_array_col'].apply(
    lambda x: None if isinstance(x, list) and len(x) == 0 else x
)

注意：如果是非空数组，还是会保留list类型，可能依然会报错，所以这种方法更适合只存在空数组的场景，或者你同时把非空数组也转成字符串。

方案二：展开数组，和父数据合并成多行 #

如果你本来就想把数组里的元素和父级数据合并成多行（这也是json_normalize的常用场景），那要正确使用它的record_path和meta参数，避免保留原数组字段：

示例JSON结构 #

假设你的JSON数据是这样的：

[
    {"user_id": 1, "username": "seymour", "hobbies": []},
    {"user_id": 2, "username": "alice", "hobbies": ["reading", "hiking"]}
]

正确展开数组的写法 #

from pandas import json_normalize
import json

with open('your_data.json') as f:
    json_data = json.load(f)

# 用record_path指定要展开的数组字段，meta指定要保留的父级字段
df = json_normalize(
    json_data,
    record_path='hobbies',  # 要展开的数组字段名
    meta=['user_id', 'username'],  # 需要保留的父级字段
    errors='ignore'  # 遇到空数组时忽略，不生成对应行
)

如果想保留空数组对应的父级行（比如生成一行hobbies为NULL的记录），可以先把空数组替换成包含None的数组：

# 预处理JSON数据，把空数组换成[None]
for item in json_data:
    if item['hobbies'] == []:
        item['hobbies'] = [None]

df = json_normalize(json_data, record_path='hobbies', meta=['user_id', 'username'])

这样处理后，df里的hobbies字段会是字符串或NULL，都是SQLite支持的类型，写入数据库就不会报错了。

额外提示 #

写入数据库时，可以用dtype参数明确指定字段类型，避免自动推断出错：

from sqlalchemy import Text
import sqlite3

conn = sqlite3.connect('your_db.db')
# 比如把JSON字符串字段指定为TEXT类型
df.to_sql(
    'your_table_name',
    conn,
    dtype={'target_array_col': Text},
    if_exists='replace',
    index=False
)
conn.close()

内容的提问来源于stack exchange，提问作者seymourgoestohollywood