如何在AWS Athena中将整个文本文件加载为单条记录

要将S3中的每个多行非结构化文本文件解析为Athena的单条记录，你需要使用**WholeFileInputFormat**来读取完整文件作为单条输入——之前尝试的LazySimpleSerDe和RegexSerDe默认按行处理记录，因此无法满足需求。

以下是可行的建表语句：

CREATE EXTERNAL TABLE IF NOT EXISTS `my_db`.`my_table` (
    `data` string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
    'serialization.format' = '\u0001' -- 使用文件中不存在的特殊字符作为分隔符，避免内容被拆分
)
STORED AS INPUTFORMAT 'org.apache.hadoop.mapreduce.lib.input.WholeFileInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION 's3://my-bucket/my-folder/';

关键配置说明： #

• WholeFileInputFormat：核心配置，告诉Athena将每个完整文件视为一条单独的记录，而非按行分割输入。
• serialization.format：设置为文本文件中绝对不会出现的特殊字符（这里用ASCII的SOH字符\u0001），确保整个文件内容被完整解析为data字段的字符串值，不会被错误拆分。
• HiveIgnoreKeyTextOutputFormat：适配WholeFileInputFormat的输入逻辑，忽略键值对中的键，只保留文件内容作为字段值。

注意事项： #

• 该方案更适合小型文件，若文件过大可能影响Athena查询性能。
• 务必确保serialization.format指定的字符不会出现在你的文本文件中，否则会导致字段内容被意外拆分。

内容的提问来源于stack exchange，提问作者Marco Caberletti