Databricks Delta表表达式分区失败的替代方案咨询

Delta Lake不支持直接使用表达式（如TO_DATE(event_time)）作为分区键，必须基于表中存在的列进行分区。在不修改原始数据schema的前提下，**生成列（Generated Columns）**是最优解决方案：

1. 创建带生成列的Delta表 #

通过定义生成列event_date，它由event_time自动派生而来，既不需要在原始CSV中存在该字段，又能作为分区键使用：

CREATE TABLE IF NOT EXISTS MY_TABLE (
  event_time TIMESTAMP,
  aws_region STRING,
  event_id STRING,
  event_name STRING,
  event_date DATE GENERATED ALWAYS AS (TO_DATE(event_time))
)
PARTITIONED BY (event_date)
USING DELTA;

2. 使用COPY INTO加载数据 #

加载时无需处理event_date字段，Databricks会自动根据event_time计算并填充该列，同时按event_date完成分区：

COPY INTO MY_TABLE
FROM 'your-storage-path/csv-files' -- 替换为实际存储路径
FILEFORMAT = CSV
OPTIONS (
  'header' = 'true',
  'inferSchema' = 'false'
);

原理说明 #

生成列是Delta表的特殊列，其值由指定的表达式自动计算，不会增加原始数据的存储开销，同时完全满足按日期分区的需求，且无需修改原始CSV的schema。

内容的提问来源于stack exchange，提问作者Yuval Itzchakov