Athena从S3 CSV创建外部表后查询返回全空值问题

可能原因1：CSV文件含末尾空行或异常换行符 #

查询返回15001行（比实际多1行），大概率是本地CSV文件末尾存在空行，或上传后生成了额外空白行。本地编辑器通常默认隐藏末尾空行，但Athena会将其作为独立行读取，导致最后一行是空值；同时如果换行符格式不统一（比如Windows的CRLF而非Linux的LF），会干扰SerDe的行分割逻辑，导致所有行的ID无法被正确捕获。

解决方法：

• 用VS Code等编辑器打开本地CSV，开启「显示控制字符」功能，检查并删除末尾空行，保存为LF换行格式。
• 上传前用命令行工具移除空行：sed '/^$/d' input.csv > output.csv。

可能原因2：UTF-8 BOM编码干扰 #

如果CSV是带UTF-8 BOM（字节顺序标记）的格式，Athena的SerDe会将文件开头的\ufeff字符当作ID的一部分，导致匹配或解析失败，最终返回空值。本地编辑器会自动处理BOM，所以看不到异常，但Athena读取时会识别为无效内容。

解决方法：

• 将文件转换为无BOM的UTF-8格式：VS Code打开后，右下角点击编码选择「UTF-8」，保存时选择「UTF-8（无BOM）」；或用dos2unix命令行工具转换。

可能原因3：OpenCSVSerDe配置不匹配单列场景 #

当CSV是单列且每行无分隔符时，OpenCSVSerDe的默认配置可能无法正确解析。即使指定了separatorChar = ","，但每行只有ID没有逗号，SerDe会误判字段边界，导致解析为空。

解决方法：
改用Athena默认的LazySimpleSerDe，适合纯文本单列场景，建表语句如下：

CREATE EXTERNAL TABLE IF NOT EXISTS ids (id String)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
LOCATION 's3://foldername/athenaQueryResults/id/';

可能原因4：RegexSerDe正则未适配行尾空白 #

你使用的正则表达式未考虑行尾可能存在的不可见空白字符（如空格、制表符），导致分组捕获失败。比如^([^ ]+).*$会因行尾空白无法匹配到有效ID，^(.+)$遇到隐藏字符也会失效。

解决方法：
调整正则表达式，明确匹配字母数字并忽略行尾空白：

CREATE EXTERNAL TABLE IF NOT EXISTS ids (id String)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES ("input.regex" = "^([A-Za-z0-9]+)\\s*$" )
LOCATION 's3://foldername/athenaQueryResults/id/';

内容的提问来源于stack exchange，提问作者user2288429