Delta表如何支持SQL查询？ADLS中Parquet存储Delta表的查询原理

Delta Lake 天生适配Spark等计算引擎，原生支持SQL查询，核心是通过注册表/视图的方式让SQL引擎识别：

• 注册临时视图：先加载Delta表再创建临时视图，之后即可用SQL查询

  spark.read.format("delta").load("/path/to/delta-table").createOrReplaceTempView("delta_temp_view")
  -- 执行SQL
  SELECT * FROM delta_temp_view WHERE id > 100;
  

• 创建永久表：借助元数据管理系统（如Hive Metastore、Unity Catalog）创建绑定Delta表路径的永久表，后续直接通过表名查询

  CREATE TABLE permanent_delta_table 
  USING delta 
  LOCATION '/path/to/delta-table';
  -- 直接查询
  SELECT count(*) FROM permanent_delta_table;
  

Delta Lake会在底层自动处理ACID事务、版本管控等逻辑，上层SQL操作和普通表完全一致。

ADLS中的Delta表是带事务日志的Parquet文件集合，不需要直接操作Parquet文件，通过Delta表的标准方式查询即可充分利用其特性：

• Spark直接加载查询：将ADLS路径（如abfss://container@storageaccount.dfs.core.windows.net/path/to/delta-table）作为Delta表路径加载，注册视图后执行SQL，和本地Delta表操作逻辑一致
• 借助Databricks Catalog：如果使用Databricks，可将ADLS路径挂载到Unity Catalog，创建对应Catalog中的Delta表，直接通过SELECT * FROM catalog.schema.delta_table;查询
• （不推荐）直接查询Parquet文件：若跳过Delta层，也可直接读取ADLS上的Parquet文件，但会丢失事务、版本回溯等Delta核心能力，示例：

  spark.read.parquet("abfss://.../delta-table/*").createOrReplaceTempView("raw_parquet_view")
  SELECT * FROM raw_parquet_view;
  

Spark不会直接将SQL转换为Java代码，其SQL处理流程是：

1. 将SQL解析为抽象语法树（AST）
2. 经Catalyst优化器生成优化后的逻辑计划
3. 转换为可执行的物理计划，最终映射为Spark RDD的算子逻辑（如map、filter、reduce等）
   这些算子基于Scala实现，运行在JVM上时直接以字节码形式执行，不会生成新的Java源码再编译。

内容的提问来源于stack exchange，提问作者Rushikesh