从数据湖Parquet文件导入Azure专用SQL Pool时遇tinyint溢出错误

核心认知偏差 #

Azure SQL专用池的TINYINT是无符号1字节类型（范围0-255），但如果Parquet文件的INT32字段中存在负值，哪怕是极个别的-1，转换时都会触发算术溢出——因为负值完全不在TINYINT的有效范围内，这大概率是你没检测到的隐性问题。

具体可能原因 #

• 未覆盖到的异常值：Parquet文件里存在少量超出0-255范围的值（比如负值、256+），抽样验证时没碰到，导致错误随机出现。
• Parquet元数据与实际值不符：部分Parquet文件的列元数据标记为INT32，但实际写入了不符合TINYINT范围的数值，读取解析时触发溢出。
• 复制任务自动映射的隐性问题：Synapse复制任务自动映射Parquet INT32到SQL TINYINT时，可能先将INT32转成有符号tinyint（范围-128到127），再转目标无符号TINYINT——此时128-255之间的值会因超出有符号tinyint范围触发溢出。
• Parquet文件损坏：部分文件因压缩、写入故障损坏，读取时解析出错误数值，超出TINYINT范围，引发随机报错。

排查与解决建议 #

• 全量校验数据：用Spark或Pandas扫描所有Parquet文件，筛选出列值 < 0 或 列值 > 255的记录，定位异常数据。
• 查看失败批次详情：在Synapse复制任务监控里，找到失败批次，查看具体出错的行和文件，直接定位问题数据。
• 手动指定字段映射：在复制任务的字段映射界面，手动将源INT32字段绑定到目标TINYINT字段，跳过自动映射的隐性逻辑。
• 临时过渡验证：先把目标表的TINYINT字段改成INT32，完成导入后筛选异常值，确认数据合规再改回TINYINT。

内容的提问来源于stack exchange，提问作者xmlapi