无需手动建表能否向AWS Redshift批量上传VARCHAR类型字符串

解决方案 #

可以通过pandas.to_sql的dtype参数覆盖默认的类型映射规则，无需手动建表即可批量将字符串字段指定为更长的VARCHAR类型，具体实现如下：

通用方案（自动适配所有字符串列） #

该方案会自动遍历DataFrame中所有字符串类型的列，统一映射为Redshift支持的最大长度VARCHAR(65535)，不需要逐个定义字段类型：

import pandas as pd
import sqlalchemy as sa
from sqlalchemy.types import VARCHAR

# 生成测试DataFrame
d = {'actually_a_string': "Super_Long_String_Even_Longer_Than_256_Characters"}
df = pd.DataFrame(data=d)

# 自动构建类型映射：所有pandas字符串（object类型）映射为长度65535的VARCHAR
dtype_map = {col: VARCHAR(length=65535) for col, dtype in df.dtypes.items() if dtype == 'object'}

# 注意修正原代码中连接串的格式错误，端口前为冒号，create_engine末尾补全右括号
engine = sa.create_engine('postgres://[USER]:[PASSWORD]@[URL]:[PORT]/[DB_NAME]')

# 上传时传入dtype参数即可
df.to_sql(
    con=engine,
    name='test',
    if_exists='replace',
    index=False,
    dtype=dtype_map
)

自定义部分字段长度方案 #

如果需要给不同字符串列设置不同的VARCHAR长度，可按如下方式调整映射规则：

dtype_map = {
    # 单独指定短字符串字段的长度
    'short_text_col': VARCHAR(256),
    # 剩余字符串字段统一设置为最大长度
    **{col: VARCHAR(65535) for col, dtype in df.dtypes.items() if dtype == 'object' and col != 'short_text_col'}
}

原理解释 #

pandas的to_sql方法默认会将Python字符串对应的pandas object类型，映射为数据库的VARCHAR(256)类型，因此超过256字符的内容会触发截断报错。通过dtype参数传入自定义的类型映射后，to_sql会按照指定的类型自动建表，无需提前手动创建表结构。

内容的提问来源于stack exchange，提问作者joant95