为何wr.s3.to_parquet发布到AWS Glue时会自动变更字段数据类型

根因分析 #

1. 类型自动推断优先级高于DataFrame原有类型
   AWS DataWrangler（wr库）执行to_parquet方法并同步创建Glue表时，默认会根据当前写入批次的实际数据值重新做类型推断，优先级高于你DataFrame里预设的dtype。比如你当前批次的时间字段全为数值甚至带空值，哪怕你提前设置了兼容字符串的类型，只要当前值符合浮点型特征，wr就会自动映射为Glue的double类型写入。
2. pandas与Glue/Parquet的类型映射不强制对应
   pandas的dtype和Parquet存储类型、Glue表的Hive类型没有强制绑定关系，比如pandas的object类型可能被wr根据数据内容推断为数值、字符串、日期等多种类型，没有显式指定的前提下不会默认沿用你预期的类型。
3. 无显式schema约束时首次建表完全依赖当前数据
   你清空了原有表结构，首次写入时没有提供自定义schema，wr会完全基于当前批次数据生成表结构，不会考虑你后续要写入字符串的需求。

解决方法 #

• 写入时显式指定字段类型：在wr.s3.to_parquet参数中新增dtype配置，手动指定需要固定类型的字段对应的Glue类型，示例如下：

response_wr = wr.s3.to_parquet(
    df=concatdatafile, 
    path=s3_outputpath + 'full_data/', 
    dataset=True,
    partition_cols=["MachineId", "year_num", "month_num", "day_num"], 
    database='myDB',
    table='myDBTable', 
    mode='append',
    # 新增如下配置，指定需要固定为字符串的字段
    dtype={
        "FS Seal Time (sec)": "string",
        "FS Cool Time (sec)": "string"
    },
    # 禁止后续写入自动修改表schema，类型不匹配时直接报错避免异常覆盖
    schema_evolution=False
)

• 提前强转DataFrame字段类型：写入前将需要固定为字符串的字段强制转换为pandas的string类型，进一步降低自动推断的误判概率：

concatdatafile['FS Seal Time (sec)'] = concatdatafile['FS Seal Time (sec)'].astype("string")
concatdatafile['FS Cool Time (sec)'] = concatdatafile['FS Cool Time (sec)'].astype("string")

• 提前创建Glue表固定schema：如果需要更严格的类型控制，可以预先按照需求创建好Glue表结构，写入时添加skip_table_schema_updates=True参数，完全禁止wr修改表定义，只会按照预设schema写入数据。

内容的提问来源于stack exchange，提问作者Alex P