关于Delta Lake物理存储及数据湖分层存储的技术咨询

1. Enriched Zone创建Delta表的存储逻辑 #

• 若仅做无转换的逻辑映射：比如通过CREATE TABLE enriched_table LOCATION '/raw/zone/path'绑定Raw Zone的存储路径，此时Enriched表只是指向Raw数据的逻辑视图，不会生成物理副本，无冗余。
• 若涉及数据转换/清洗：比如用CREATE TABLE enriched_table AS SELECT cleaned_column FROM raw_table做字段清洗、格式转换等操作，此时会在Enriched Zone生成新的物理数据文件，产生冗余——这属于合理设计，因为Enriched层的核心是提供加工后的可用数据。
• 核心判断标准：是否指定新存储路径或执行数据转换操作，纯路径绑定为逻辑引用，带转换则生成物理副本。

2. 含更新的小批次数据处理（Raw Zone分层存储场景） #

核心规则：Raw Zone必须保持只读、仅追加模式 #

Raw Zone的本质是原始数据的不可变存证，用于合规审计，绝对不能修改存量数据。针对你的950TB分层存储+1GB批次场景，处理流程如下：

• Raw Zone侧处理
  将1GB的完整批次（包含新增和更新记录）直接追加到Raw Zone的hot-tier分区目录，无需做任何过滤或修改——Raw层只负责留存原始输入的全量数据，无需区分记录类型。
• Enriched Zone侧处理更新
  基于Raw Zone的hot-tier数据（原150TB + 新追加1GB），使用Delta Lake的MERGE INTO语句完成更新合并：

  MERGE INTO enriched_business_table t
  USING (SELECT * FROM raw_hot_new_batch) s
  ON t.unique_id = s.unique_id
  WHEN MATCHED THEN UPDATE SET *
  WHEN NOT MATCHED THEN INSERT *
  

  archive-tier的800TB数据无需参与日常业务处理，仅在合规审计需要回溯历史时再读取。
• 存储分层优化
  • 定期将Raw Zone中超过业务时效的hot-tier数据（比如超过6个月）迁移到archive-tier，降低hot-tier存储成本的同时保证业务访问效率。
  • Enriched层的Delta表可根据业务查询模式设置分区（如按日期）、Z-Order索引，提升合并和查询性能。

内容的提问来源于stack exchange，提问作者DataDoer