AWS Glue向MySQL RDS插入数据时NULL值被转为字符串的问题解决咨询

我之前在做Glue ETL同步CSV到MySQL RDS时也踩过这个一模一样的坑，给你几个亲测有效的解决思路：

1. 在ETL脚本中主动替换'NULL'字符串为Python None #

这是最直接可控的方式，在数据转换阶段把所有字符串类型字段里的'NULL'替换成Python的None，Glue在写入MySQL时会自动把None映射为数据库原生的NULL值。

示例代码：

from pyspark.sql.functions import when, col
from awsglue.dynamicframe import DynamicFrame

# 假设你的原始DynamicFrame是source_dyf
df = source_dyf.toDF()

# 遍历所有字符串类型字段，替换'NULL'为None
for col_name in df.columns:
    if df.schema[col_name].dataType.simpleString() == 'string':
        df = df.withColumn(
            col_name,
            when(col(col_name) == 'NULL', None).otherwise(col(col_name))
        )

# 转回DynamicFrame继续后续写入流程
processed_dyf = DynamicFrame.fromDF(df, glueContext, "processed_dyf")

2. 配置Glue数据目录表的NULL识别规则 #

如果你的数据源表是通过Glue爬虫创建的，可以直接在数据目录的表属性里设置nullValue参数，让Glue在读取CSV时自动将'NULL'解析为原生NULL，无需修改ETL脚本：

• 打开Glue控制台，进入数据目录 -> 表，找到对应的CSV表
• 点击编辑表，滑到高级属性区域
• 添加一个键值对：nullValue = NULL
• 保存后重新运行ETL任务，Glue读取数据时会自动把字符串'NULL'识别为NULL值

3. 调整CSV源文件的NULL表示方式（如果可控） #

如果CSV文件是你这边生成的，可以后续生成时将NULL值改为空字符串或者直接不填充字段值（CSV中对应位置留空），Glue默认会把这类值识别为NULL，从源头避免问题。

注意事项 #

• 以上方案优先针对字符串类型字段，如果你有其他数据类型的字段也存在类似问题，需要针对性调整判断逻辑（比如数值型字段的'NULL'需要先转为数值类型的NULL）
• 测试时可以先取小批量数据验证，确认替换逻辑生效后再全量运行任务

内容的提问来源于stack exchange，提问作者adaso