AWS Glue 4.0转Iceberg至Snowflake：如何将TIMESTAMP_LTZ转为TIMESTAMP_NTZ

针对AWS Glue 4.0（Spark 3.3）环境下，将PostgreSQL的timestamp列写入Iceberg表时保留无时区类型，让Snowflake解析为TIMESTAMP_NTZ的需求，有以下三种可行方案：

方案1：预先创建Iceberg表并显式指定列类型 #

通过Spark SQL或Glue Catalog预先定义Iceberg表的Schema，强制目标列类型为timestamp（无时区），避免依赖自动推断导致的类型转换。

示例：用Spark SQL创建Iceberg表 #

CREATE TABLE glue_catalog.your_database.your_iceberg_table (
  id INT,
  created_on TIMESTAMP -- 明确指定为无时区的timestamp类型
)
LOCATION 's3://your-bucket/path/to/table'
TBLPROPERTIES (
  'table_type' = 'ICEBERG',
  'format' = 'parquet'
)

之后在Glue任务中读取PostgreSQL数据后，直接写入该预先创建的表：

# 读取PostgreSQL数据
jdbc_options = {
    "url": "jdbc:postgresql://your-host:port/your-db",
    "dbtable": "your_source_table",
    "user": "your-user",
    "password": "your-pass"
}
df = spark.read.format("jdbc").options(**jdbc_options).load()

# 写入已存在的Iceberg表
df.write.format("iceberg").mode("append").save("glue_catalog.your_database.your_iceberg_table")

方案2：写入时显式指定Iceberg表Schema #

在写入Iceberg的过程中，通过schema参数强制指定目标表的结构，确保目标列映射为Iceberg的timestamp类型。

示例：PySpark代码指定Schema #

from pyspark.sql.types import StructType, StructField, IntegerType, TimestampType

# 定义与目标Iceberg表匹配的Schema
target_schema = StructType([
    StructField("id", IntegerType(), nullable=True),
    StructField("created_on", TimestampType(), nullable=True)
])

# 读取PostgreSQL数据
jdbc_options = {
    "url": "jdbc:postgresql://your-host:port/your-db",
    "dbtable": "your_source_table",
    "user": "your-user",
    "password": "your-pass"
}
df = spark.read.format("jdbc").options(**jdbc_options).load()

# 写入时指定Schema，禁用自动Schema合并
df.write \
  .format("iceberg") \
  .option("mergeSchema", "false") \
  .schema(target_schema) \
  .mode("append") \
  .save("s3://your-bucket/path/to/iceberg-table")

方案3：调整Iceberg与Spark的类型映射配置 #

通过修改Spark配置，调整默认的类型映射规则，让Spark的TimestampType对应Iceberg的timestamp（而非默认的timestamptz）。

在Glue任务的Spark配置中添加以下参数：

--conf spark.sql.iceberg.type-mapping=legacy

注：legacy映射规则下，Spark的TimestampType会直接对应Iceberg的无时区timestamp类型，无需额外修改代码，直接读取并写入数据即可。

内容的提问来源于stack exchange，提问作者damontal