Glue Job抽取Oracle数据存S3时日期字段转为科学计数法问题咨询

云原生阿岚

2026-10-3

问题定位步骤

先校验JDBC读取的字段类型映射：执行Glue Job脚本中的print(datasource.printSchema())，检查异常日期列的类型是否被错误识别为DoubleType、LongType，而非预期的DateType/TimestampType。重点关注Oracle侧该列是否为TIMESTAMP(6)及以上高精度时间类型、TIMESTAMP WITH TIME ZONE类型，这类类型容易被默认JDBC驱动误判为数值。
排查抽取阶段的转换逻辑：检查是否存在动态帧转Spark DataFrame、自定义UDF处理时，强制将日期列转为数值的逻辑，同时确认Oracle表中该列是否存在脏数据（部分行存储为数值而非日期），导致Glue自动类型推断时统一转为数值类型。
校验S3写入配置：若输出格式为CSV、JSON这类弱类型格式，确认是否未指定日期输出格式，Spark默认会将大数值类型自动序列化为科学计数法存储；若输出为Parquet等强类型格式则问题大概率出在读取阶段。

解决方案

读取时强制指定字段类型
自定义JDBC读取的Schema，明确标注日期列的类型为TimestampType，避免自动推断出错，示例代码：

from pyspark.sql.types import StructType, StructField, TimestampType, StringType
# 按表结构定义完整Schema，仅示例日期列配置
custom_schema = StructType([
    StructField("id", StringType(), True),
    StructField("your_date_col", TimestampType(), True),
    # 其余字段依次定义
])
datasource = glueContext.read.jdbc(
    url="jdbc:oracle:thin:@//your-oracle-host:port/service_name",
    table="your_schema.your_table",
    properties={"user": "xxx", "password": "xxx", "driver": "oracle.jdbc.OracleDriver"},
    customSchema=custom_schema
)

写入时明确日期格式、关闭科学计数法
若输出为CSV/JSON格式，写入时指定时间格式并禁用科学计数法输出，示例代码：

df.write \
  .option("dateFormat", "yyyy-MM-dd HH:mm:ss") \
  .option("timestampFormat", "yyyy-MM-dd HH:mm:ss") \
  .option("useScientificNotation", False) \
  .mode("append") \
  .csv("s3://your-bucket/output-path/")

错误数值逆向转回日期
如果数据已经被错误识别为数值类型，可以基于Oracle的Julian日期规则做逆向转换，示例代码：

from pyspark.sql.functions import lit, date_add, to_timestamp
# Oracle日期内部序列号以公元前4712年1月1日为起点，按实际数值单位调整转换逻辑
df = df.withColumn("correct_date", 
    to_timestamp(date_add(lit("4712-01-01"), df.wrong_numeric_date_col.cast("long")))
)

用Glue内置转换指定类型
如果使用Glue可视化Job，在ApplyMapping转换节点中，手动将异常列的目标类型指定为date或timestamp，覆盖自动映射规则。

内容的提问来源于stack exchange，提问作者divyansh