手动创建带分区的AWS Glue数据目录表Athena查询无结果问题

你的问题核心是只复制了爬虫生成的字段Schema，却忽略了爬虫自动配置的其他关键表属性和操作，导致Athena无法识别数据。以下是具体的排查和修复步骤：

1. 检查表的存储位置 #

爬虫会自动将表的根目录设为分区路径的父级：s3://input/orders/，而不是具体的分区目录s3://input/orders/day=1/。如果手动建表时把Location设成了具体分区路径，Athena无法识别分区列的结构，自然查不到数据。

2. 确保分区配置并加载分区 #

虽然Schema里标记了day是分区键，但手动建表后，Glue数据目录不会自动识别S3上的分区路径，必须手动加载：

• 单分区加载：

ALTER TABLE orders ADD PARTITION (day='1') LOCATION 's3://input/orders/day=1/';

• 自动发现所有分区（适合多分区场景）：

MSCK REPAIR TABLE orders;

3. 匹配爬虫的序列化与格式配置 #

爬虫会自动为CSV文件配置对应的输入输出格式和序列化参数，手动建表时必须同步这些设置，比如：

• 输入格式：org.apache.hadoop.mapred.TextInputFormat
• 输出格式：org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
• 序列化库：org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
• CSV相关参数（如果文件有表头，需设置跳过首行）：skip.header.line.count=1

完整手动建表示例（Athena SQL） #

直接用Athena执行以下SQL建表，能完美匹配爬虫生成的表结构：

CREATE EXTERNAL TABLE orders (
  car string,
  mpg double,
  cylinders bigint,
  displacement double,
  hp bigint,
  weight bigint,
  acc double,
  model bigint,
  origin string
)
PARTITIONED BY (day string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION 's3://input/orders/'
TBLPROPERTIES (
  'skip.header.line.count' = '1' -- 若CSV无表头，移除该行
);

执行完建表语句后，再执行分区加载命令即可查询到数据。

内容的提问来源于stack exchange，提问作者Shankar