BigQuery中如何按文件名称对数据表进行分区处理

BQ 不存在你给出的伪代码中直接在bq load命令里指定按文件名分区的语法，但是可以借助BQ自带的_FILE_NAME隐式伪列实现完全等价的效果，具体操作如下：

推荐实现步骤 #

• 第一步：创建指向所有销售CSV文件的外部表

CREATE EXTERNAL TABLE `你的项目ID.你的数据集名.sales_external`
OPTIONS (
  format = 'CSV',
  uris = ['gs://Files/Sales_*.csv'],
  skip_leading_rows = 1 -- 若CSV文件包含表头则保留该参数，否则可删除
);

• 第二步：提取文件名中的日期作为分区列，直接生成正式的日期分区表

CREATE OR REPLACE TABLE `你的项目ID.你的数据集名.sales_partitioned`
-- 按提取出的销售日期做分区
PARTITION BY sales_date
AS
SELECT 
  *,
  -- 从文件路径中提取日期字符串，转换为DATE类型作为分区字段
  DATE(REGEXP_EXTRACT(_FILE_NAME, r'Sales_(\d{4}-\d{2}-\d{2})\.csv')) AS sales_date
FROM `你的项目ID.你的数据集名.sales_external`;

命令行加载的适配方案 #

如果你习惯使用bq命令行工具操作，也可以分两步实现：

1. 先加载所有文件到一张临时普通表，加载时可以自行指定表的字段schema

bq load --source_format=CSV --skip_leading_rows=1 \
  你的项目ID.你的数据集名.sales_temp \
  gs://Files/Sales_*.csv \
  字段1:类型,字段2:类型,字段3:类型

2. 执行SQL从临时表提取分区字段，写入分区表，执行完成后可以删除临时表释放存储。

说明：_FILE_NAME是BQ读取GCS文件时自带的系统伪列，不需要手动在原始数据中新增字段，所有从GCS路径读取的文件都可以直接调用该字段获取完整的文件存储路径。

内容的提问来源于stack exchange，提问作者David542