使用pandas.to_sql向SingleStore插入DataFrame时遇ValueError错误求助

问题原因 #

报错ValueError: country (NVARCHAR(255)) not a string的核心原因是：DataFrame里country列虽然标记为object类型，但实际存在非字符串数据（比如None、数值、非str对象），和你指定的NVARCHAR数据库类型不兼容。

可行解决方案 #

1. 强制转换列数据为字符串 #

遍历所有object类型的列，把所有值转成字符串，同时处理空值：

import pandas as pd

# 处理需要转为字符串的列
for col in ['country', 'continent', 'metric']:
    # 将空值转为空字符串，非字符串值强制转str
    data_df[col] = data_df[col].astype(str).replace('nan', '')

如果希望空值对应数据库的NULL，可以改用：

data_df[col] = data_df[col].apply(lambda x: str(x) if pd.notnull(x) else None)

2. 排查并清理异常值 #

先找出country列里的非字符串内容，针对性处理：

# 筛选出country列中不是字符串的元素
non_str_entries = data_df[~data_df['country'].apply(lambda x: isinstance(x, str))]
print(non_str_entries)

如果这些异常数据没用，可以直接删除：

data_df = data_df[data_df['country'].apply(lambda x: isinstance(x, str))]

3. 替换SQLAlchemy类型为String #

SingleStore对sqlalchemy.types.String的兼容性更好，替换掉NVARCHAR试试：

from sqlalchemy import String, Integer, Float

data_df.to_sql('gapmindertidy', con=conn1, if_exists='append', 
               index=False, chunksize=1000, dtype={
                   'country': String(length=255),
                   'continent': String(length=255),
                   'year': Integer(),
                   'metric': String(length=255),
                   'value': Float(precision=3, asdecimal=True)
               })

验证步骤 #

处理完数据后，先确认列数据类型合规：

# 检查列类型
print(data_df.dtypes)
# 检查country列的元素类型是否全为str
print(data_df['country'].apply(type).unique())

确认所有值都是字符串后，重新执行插入代码即可。

内容的提问来源于stack exchange，提问作者user2258035