AWS Glue中lit()仅填充列首行问题求助

我是Spark新手，在AWS Glue中给数据集添加列时遇到了奇怪的问题：用lit("ABCD")生成的nodeType:String列只有第一行是"ABCD"，其余行全为null，但另一列nodeId:ID(ABCD)完全正常。更纳闷的是，其他Glue任务里lit()功能都正常，试了两种写法结果一致。

第一种写法： #

df = s3SourceDataDynamicFrame.toDF()
df = df.select(
    col("eventId").cast("string").alias("nodeId:ID(ABCD)"),
    lit("ABCD").cast("string").alias("nodeType:String"),
    ...
)
...
df.write \
  .format("parquet") \
  .mode("overwrite") \
  .save("some S3 location")

第二种写法： #

df = s3SourceDataDynamicFrame.toDF()
df = df.select(
    col("eventId").cast("string").alias("nodeId:ID(ABCD)"),
    ...
)
df = df.withColumn("nodeType:String", lit("ABCD").cast("string"))
...
df.write \
  .format("parquet") \
  .mode("overwrite") \
  .save("some S3 location")

可能的原因及解决方向： #

• DynamicFrame转DataFrame的隐性问题：原DynamicFrame可能存在分区或数据结构的异常，转DF后元数据冲突导致常量列仅在首个分区生效。可以先执行df.cache()再操作，或者先对DynamicFrame做resolveChoice处理：

  dyf = s3SourceDataDynamicFrame.resolveChoice(specs=[("*", "cast:string")])
  df = dyf.toDF()
  

• 特殊列名的处理bug：列名包含:这类特殊符号，虽然Spark支持，但Glue的Parquet写入逻辑可能存在兼容问题。可以先将列名改为普通格式（比如nodeType_String），写入后再按需重命名，或者写入前用df.printSchema()检查列元数据是否正常。
• 并行写入的分区异常：原数据分区存储时，并行写入任务可能导致常量列赋值逻辑未在所有分区执行。可以临时设置spark.sql.shuffle.partitions=1，或者执行df = df.repartition(1)后再写入，验证是否解决问题。
• Glue版本兼容性问题：部分旧版本Glue对lit()结合特殊列名的处理存在bug，建议升级到Glue 3.0及以上版本测试。

验证步骤： #

1. 在写入前添加df.show(100)，确认内存中的DataFrame里nodeType:String列是否真的只有第一行有值，排除Parquet写入环节的问题。
2. 临时修改列名为普通格式，测试常量列是否能正常赋值到所有行。

内容的提问来源于stack exchange，提问作者Pranav Rudra