如何在Databricks中按文件名过滤指定日期的S3日志创建Hive表？

方案1：指定精确S3前缀路径建表 #

你的日志文件以日期作为前缀，可直接将表的LOCATION指向该日期的前缀路径（无需通配符），利用S3的前缀匹配特性加载对应文件：

CREATE EXTERNAL TABLE s3_logs_20230216 (
  -- 替换为你之前定义的字段结构
  bucket_name STRING,
  request_time STRING,
  remote_ip STRING,
  -- 其他字段...
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  "input.regex" = "你的正则表达式" -- 替换为你使用的日志解析正则
)
LOCATION 's3://<你的存储桶路径>/s3_logs/2023-02-16';

注意：S3路径末尾不要加%这类通配符，Hive会自动加载该前缀下的所有文件，之前报错就是因为LOCATION使用了通配符，不符合Hive路径规范。

方案2：创建分区表（长期维护推荐） #

如果需要频繁按日期查询，建议建分区表，后续新增日期只需添加分区，避免重复建表：

1. 先创建分区表结构：

CREATE EXTERNAL TABLE s3_logs (
  bucket_name STRING,
  request_time STRING,
  remote_ip STRING,
  -- 其他字段...
)
PARTITIONED BY (log_date STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  "input.regex" = "你的正则表达式"
)
LOCATION 's3://<你的存储桶路径>/s3_logs/';

2. 添加指定日期的分区，关联对应S3前缀：

ALTER TABLE s3_logs ADD PARTITION (log_date='2023-02-16')
LOCATION 's3://<你的存储桶路径>/s3_logs/2023-02-16';

查询时只需指定WHERE log_date='2023-02-16'，Hive只会扫描该分区对应的文件，不会全量遍历，直接降低计算开销。

之前方法失效的原因 #

• LOCATION加通配符报错：Hive的表存储路径不支持通配符，必须是合法的S3前缀路径。
• input_file_name()过滤：该逻辑是在全量文件解析完成后再过滤结果，本质还是会扫描所有文件，无法减少计算量。

内容的提问来源于stack exchange，提问作者Mourya Reddy