如何在数据集内创建表/视图查询GCS Bucket中的最新文件

通配符能否满足需求 #

可以实现，但有局限性。
通配符本身仅支持路径规则匹配，无法直接筛选文件的更新时间属性。如果你的文件命名自带固定格式的时间标识（比如路径为gs://bucket/data/20240520/record.csv），可以搭配通配符和条件查询定位最新文件。但纯通配符方案每次查询会扫描所有匹配到的历史文件，数据量大的时候查询成本高、效率低，仅适合临时查询使用。

最优实现方式 #

根据你的文件命名规则分两种方案选择：

• 方案1：文件路径包含时间分区标识（推荐）
  直接创建Hive分区模式的外部表，将路径中的时间字段设为分区列。以BigQuery为例，建表参考代码如下：

  CREATE EXTERNAL TABLE `your_project.your_dataset.gcs_external_table`
  (
    -- 按你的文件内容定义字段
    user_id STRING,
    event_time TIMESTAMP,
    event_content STRING
  )
  WITH PARTITION COLUMNS (
    upload_dt DATE OPTIONS(description="文件上传日期，从路径自动提取")
  )
  OPTIONS(
    format = "CSV", -- 按需修改为PARQUET/JSON等你的文件格式
    uris = ["gs://your_bucket/target_dir/upload_dt=*/*.csv"],
    hive_partition_uri_prefix = "gs://your_bucket/target_dir/"
  );
  

  查询最新文件只需筛选最大分区即可，效率极高，不会扫描历史文件：

  SELECT * FROM `your_project.your_dataset.gcs_external_table`
  WHERE upload_dt = (SELECT MAX(upload_dt) FROM `your_project.your_dataset.gcs_external_table`)
  

• 方案2：文件路径无固定时间规则
  先通过gcloud命令拉取存储桶内最新文件的路径，再将路径传入查询语句。获取最新文件路径的参考命令：

  # 按文件修改时间倒序排列，取第一条的路径
  gcloud storage ls -l gs://your_bucket/target_dir/* | sort -k 2r | head -n 1 | awk '{print $NF}'
  

  拿到路径后直接替换外部表的URI参数，或写入查询语句的通配符位置即可。

官方文档参考 #

你使用的云数仓产品的官方文档中，检索「外部表 云存储通配符」「Hive分区外部表」相关关键词即可找到对应的功能说明和操作指南。 #

内容的提问来源于stack exchange，提问作者Maykid