如何从Pandas DataFrame生成兼容Redshift Serverless的建表语句

针对你遇到的两个问题，我们可以通过自定义类型映射和建表语句生成逻辑来解决：

问题1：38位数字列被映射为INTEGER(32) #

Redshift的INTEGER类型仅支持32位整数（范围-2^31到231-1），无法容纳38位数字。需要将这类列映射为NUMERIC(38, 0)或DECIMAL(38, 0)（两者在Redshift中等价）。

问题2：字符串/数字形式的TRUE/FALSE列被映射为BOOLEAN #

如果原数据是字符串TRUE/FALSE或数字1/0而非标准布尔值，直接用Redshift的BOOLEAN类型可能导致数据加载失败，需要根据实际存储形式映射到CHAR(5)或SMALLINT。

完整实现代码 #

import pyarrow.parquet as pq
import pandas as pd

def generate_redshift_create_table(df, table_name):
    # 自定义Redshift类型映射规则
    redshift_type_map = {
        "int64": "NUMERIC(38, 0)",
        "bool": "CHAR(5)",  # 若原数据是1/0，可改为"SMALLINT"
        "float64": "DOUBLE PRECISION",
        "object": "VARCHAR(MAX)",
        "datetime64[ns]": "TIMESTAMP",
        "datetime64[ns, UTC]": "TIMESTAMP WITH TIME ZONE"
    }

    column_defs = []
    for col_name, dtype in df.dtypes.items():
        # 处理小数类型（如pandas的Decimal dtype）
        if "decimal" in dtype.name:
            sql_type = f"NUMERIC({dtype.precision}, {dtype.scale})"
        else:
            # 用自定义映射，无匹配则用默认逻辑
            sql_type = redshift_type_map.get(dtype.name, pd.io.sql.get_schema(df, table_name).split(f"{col_name} ")[1].split(",")[0])
        
        # 列名含特殊字符时添加引号
        quoted_col = f'"{col_name}"' if any(c in col_name for c in " -.,()[]") else col_name
        column_defs.append(f"    {quoted_col} {sql_type}")
    
    return f"CREATE TABLE {table_name} (\n{',\n'.join(column_defs)}\n);"

# 读取Parquet文件到DataFrame
bucket_name = "your-bucket-name"
s3_path = "your-parquet-file-path"
target_table = "your-redshift-table"

df = pq.read_table(f"s3://{bucket_name}/{s3_path}").to_pandas()

# 预处理：若大数字列是字符串类型，先转换为数值型
# df["large_number_col"] = pd.to_numeric(df["large_number_col"], downcast="integer")

# 预处理：统一布尔列格式（如字符串转大写）
# df["flag_col"] = df["flag_col"].astype(str).str.upper()

# 生成建表语句
create_stmt = generate_redshift_create_table(df, target_table)
print(create_stmt)

关键说明 #

1. 类型映射自定义：通过redshift_type_map直接指定Pandas dtype到Redshift类型的对应关系，确保大整数列使用NUMERIC(38,0)，布尔列根据实际数据选择合适类型。
2. 特殊列处理：针对小数类型自动提取精度和scale，生成对应NUMERIC类型；列名含特殊字符时自动添加引号，符合Redshift语法要求。
3. 数据预处理：如果大数字列以字符串形式存储，需先转换为数值型；布尔列统一格式（如字符串转大写），避免加载时类型不匹配。

内容的提问来源于stack exchange，提问作者Poreddy Siva Sukumar Reddy US