如何使用AWS Glue将DECIMAL类型写入Redshift？空值问题排查

1. Redshift JDBC驱动缺少关键配置参数 #

Redshift JDBC驱动默认对DECIMAL/NUMERIC类型的处理存在兼容性问题，若未在JDBC连接配置中添加stringtype=unspecified参数，会导致DECIMAL类型数据在写入时被错误转换，最终变为空值。该参数强制驱动以原始格式处理非字符串类型，避免不必要的类型转换丢失数据。

2. Spark DecimalType与Redshift NUMERIC精度/刻度不匹配 #

即使PySpark中能正常看到DECIMAL数值，若DynamicFrame中DecimalType的精度/刻度与目标Redshift表的NUMERIC(4,2)不完全一致，Glue写入时会因类型不兼容丢弃数据。比如Spark侧DecimalType精度高于4或刻度不等于2，会触发隐式转换失败，导致空值。

验证与修复步骤 #

• 添加JDBC连接参数：在from_jdbc_conf的连接配置中加入stringtype=unspecified，示例代码：

  dynamic_frame.write.from_jdbc_conf(
      connection_options={
          "url": "jdbc:redshift://your-cluster-url:5439/dbname",
          "dbtable": "target_table",
          "user": "username",
          "password": "password",
          "stringtype": "unspecified"  # 关键参数
      },
      redshift_tmp_dir="s3://your-tmp-bucket/tmp/",
      transformation_ctx="redshift_writer"
  )
  

• 显式对齐DecimalType精度：在数据转换阶段，强制将DECIMAL列类型设置为与目标表匹配的DecimalType(4,2)，避免类型推断偏差：

  from pyspark.sql.types import DecimalType
  
  # 转换DynamicFrame为DataFrame后调整类型
  df = dynamic_frame.toDF()
  df = df.withColumn("decimal_test", df["decimal_test"].cast(DecimalType(4, 2)))
  # 转回DynamicFrame执行写入
  adjusted_dynamic_frame = DynamicFrame.fromDF(df, glueContext, "adjusted_df")
  

• 检查表权限（可选）：确认写入Redshift的IAM角色/用户具备目标表的写入权限，虽然其他类型正常，但权限异常也可能导致特定类型数据写入失败（概率较低）。

内容的提问来源于stack exchange，提问作者cjmbard