AWS Athena UNLOAD导出TEXTFILE时将\N替换为空字符串的方法

问题场景 #

你使用Athena UNLOAD语句导出数据到S3：

UNLOAD (SELECT * FROM sometable) TO 's3://<location>' WITH (format = 'TEXTFILE', field_delimeter = ',')

导出的.gz文件中所有NULL/空值被转换为\N，但直接执行SELECT * FROM sometable时结果符合预期（无\N），希望UNLOAD输出时将这些值替换为空字符串，且不清楚如何在UNLOAD中使用建表时的SERDEPROPERTIES配置项serialization.null.format。

可行解决方案 #

目前Athena的UNLOAD语句针对TEXTFILE格式，没有直接通过WITH参数配置NULL输出格式的选项，可以通过以下两种方式实现需求：

1. 在SELECT语句中显式处理NULL值

通过COALESCE函数（或CASE语句）将每个字段的NULL值转换为空字符串，再执行UNLOAD：

UNLOAD (
  SELECT 
    COALESCE(col1, '') AS col1,
    COALESCE(col2, '') AS col2,
    -- 按表中字段依次处理所有列
    COALESCE(colN, '') AS colN
  FROM sometable
) TO 's3://<location>' WITH (format = 'TEXTFILE', field_delimeter = ',')

• 若字段为非字符串类型（如INT、DATE等），需要先转为字符串再处理：

  COALESCE(CAST(col_int AS VARCHAR), '') AS col_int
  

• 该方式直接、高效，是最常用的解决方案。

2. 间接转换（多步骤）

如果字段过多不想逐个处理，可以先将数据UNLOAD为PARQUET格式，再通过创建外部表指定NULL格式后导出：

1. 先导出为PARQUET：

   UNLOAD (SELECT * FROM sometable) TO 's3://temp-location/' WITH (format = 'PARQUET')
   

2. 创建指向该PARQUET数据的外部表，指定serialization.null.format=''：

   CREATE EXTERNAL TABLE temp_table (
     -- 与sometable相同的表结构定义
     col1 STRING,
     col2 INT,
     ...
   )
   STORED AS PARQUET
   LOCATION 's3://temp-location/'
   TBLPROPERTIES ('serialization.null.format' = '');
   

3. 再次UNLOAD该外部表为TEXTFILE：

   UNLOAD (SELECT * FROM temp_table) TO 's3://target-location/' WITH (format = 'TEXTFILE', field_delimeter = ',')
   

这种方式步骤较多，适合字段数量极大的场景。

内容的提问来源于stack exchange，提问作者user1179317