Spark SQL修改Delta表列数据类型报错：bigint无法转为decimal(10,2)

报错原因 #

Delta Lake默认启用严格类型检查，BigInt转Decimal(10,2)属于潜在不安全的类型转换——如果BigInt字段存在超过9999999999（对应Decimal(10,2)的最大值99999999.99）的值，转换会导致数据溢出，因此默认阻止这类ALTER操作。

解决方案 #

方案1：临时开启强制类型转换配置（快速解决，需确认数据安全）

先设置Delta允许类型变更的配置，再执行修改语句：

-- 在Spark SQL中设置
SET spark.databricks.delta.alterColumn.typeChange.enabled = true;
ALTER TABLE tablename ALTER COLUMN column_name TYPE decimal(10, 2);

如果用代码方式（Python示例）：

spark.conf.set("spark.databricks.delta.alterColumn.typeChange.enabled", "true")
spark.sql("ALTER TABLE tablename ALTER COLUMN column_name TYPE decimal(10, 2)")

执行完成后建议将配置改回false，避免后续误操作：

SET spark.databricks.delta.alterColumn.typeChange.enabled = false;

方案2：先验证数据范围（更安全，避免溢出）

先检查列的最大值，确认是否在Decimal(10,2)的容纳范围内：

SELECT MAX(column_name) FROM tablename;

如果最大值≤9999999999，再执行方案1的操作；如果超过范围，需调整Decimal的精度（比如改为decimal(18,2)）或先清理超出范围的数据。

方案3：重写表（适用于无法开启配置的场景）

通过临时视图转换类型后覆盖原表：

-- 创建转换后的临时视图，注意保留所有其他列
CREATE OR REPLACE TEMP VIEW temp_tab AS
SELECT 
  CAST(column_name AS decimal(10,2)) AS column_name,
  col1, col2, ... -- 替换为表中其他所有列
FROM tablename;

-- 覆盖原Delta表
INSERT OVERWRITE tablename SELECT * FROM temp_tab;

⚠️ 注意：此方式会重写整个表，需评估数据量和性能影响，且确保操作期间无并发写入。

内容的提问来源于stack exchange，提问作者younus