Snowpark填充缺失值报错：输入值与列数据类型不匹配

问题核心在于Snowpark对Decimal类型列的类型校验严格，Python原生的int或float值无法匹配DecimalType(38,12)这类带精度的列类型，必须使用对应精度的Decimal类型值来填充。以下是几种可行解决方案：

1. 单个Decimal列精准填充 #

直接针对报错列，创建匹配其精度的Decimal类型填充值：

# 方法一：用字符串形式的Decimal值（匹配12位小数精度）
df = df.na.fill({"MEDIAN_AQI": Decimal('0.000000000000')})

# 方法二：通过lit函数显式转换类型
from snowflake.snowpark.functions import lit
df = df.na.fill({"MEDIAN_AQI": lit(0).cast("Decimal(38,12)")})

2. 批量填充所有Decimal类型列 #

如果有大量Decimal列需要处理，可自动识别列类型后批量生成填充规则：

from snowflake.snowpark.types import DecimalType
from snowflake.snowpark.functions import lit

# 筛选出所有Decimal类型的列名
decimal_columns = [col.name for col in df.schema.fields if isinstance(col.datatype, DecimalType)]

# 为每个Decimal列生成对应精度的0值填充映射
fill_mapping = {col: lit(0).cast(col.datatype) for col in decimal_columns}

# 执行批量填充
df = df.na.fill(fill_mapping)

3. 混合类型列的多规则填充 #

若需同时填充不同数据类型的列（如int、float、Decimal），可组合不同类型的填充值：

from snowflake.snowpark.functions import lit

fill_mapping = {
    # Decimal列：显式指定对应精度类型
    "MEDIAN_AQI": lit(0).cast("Decimal(38,12)"),
    "ANOTHER_DECIMAL_COL": lit(0).cast("Decimal(10,2)"),
    # int列：直接使用整数
    "USER_COUNT": 0,
    # float列：直接使用浮点数
    "AVG_SCORE": 0.0
}
df = df.na.fill(fill_mapping)

关键原因说明 #

Snowpark的na.fill方法会严格校验填充值与目标列的数据类型：

• Python的0会被识别为IntegerType，0.0会被识别为FloatType，均无法匹配DecimalType的精度要求
• 必须通过cast显式转换为对应精度的Decimal类型，或使用符合精度的字符串形式Decimal值，才能通过类型校验完成填充

内容的提问来源于stack exchange，提问作者Salahuddin