将None转换为Snowflake TIMESTAMP_NZT(9)列时遇表达式类型错误

问题根源 #

Snowpark自动推断Pandas DataFrame列类型时，会把包含None的时间列误判为数值类型，导致MERGE操作时与目标表的TIMESTAMP_TZ(9)类型不匹配。手动执行INSERT NULL正常是因为直接指定了NULL的类型，而Snowpark自动转换时出现了类型推断错误。

处理步骤 #

1. 统一Pandas时间列类型
   先将DataFrame中的时间列转换为带UTC时区的datetime类型，确保None所在列的类型不是object：

   import pandas as pd
   # 转换为带UTC时区的datetime，保留None值
   df['Timestamp_column'] = pd.to_datetime(df['Timestamp_column'], utc=True)
   # 验证列类型应为 datetime64[ns, UTC]
   print(df['Timestamp_column'].dtype)
   

2. 显式指定Snowpark DataFrame Schema
   转换为Snowpark DataFrame时，手动指定Timestamp_column的类型为TimestampType(timezone=True, precision=9)，避免自动推断错误：

   from snowflake.snowpark.types import StructType, StructField, TimestampType, IntegerType
   
   # 构建匹配目标表的Schema
   target_schema = StructType([
       # 替换为你的其他列定义
       StructField("ID", IntegerType(), nullable=False),
       StructField("Timestamp_column", TimestampType(timezone=True, precision=9), nullable=True)
   ])
   
   # 创建Snowpark DataFrame时绑定指定的Schema
   snow_df = session.create_dataframe(df, schema=target_schema)
   

3. MERGE语句中强制类型对齐（可选）
   如果仍存在类型问题，在MERGE的INSERT/UPDATE子句中显式转换类型：

   MERGE INTO target_table t
   USING source_view s
   ON t.ID = s.ID
   WHEN MATCHED THEN
       UPDATE SET t.Timestamp_column = CAST(s.Timestamp_column AS TIMESTAMP_TZ(9))
   WHEN NOT MATCHED THEN
       INSERT (ID, Timestamp_column)
       VALUES (s.ID, CAST(s.Timestamp_column AS TIMESTAMP_TZ(9)))
   

通过以上步骤，None会被识别为TIMESTAMP_TZ(9)类型的NULL，与目标列类型完全匹配，MERGE操作即可正常执行。

内容的提问来源于stack exchange，提问作者harsh panday