在Databricks中创建含NULL列的Delta表后查询报错

问题场景 #

用以下SQL创建Delta表test1时无报错，但查询该表时抛出异常IllegalStateException: Couldn't find a#31234 in [col1#31233]：
建表语句：

create or replace table test1 as (
  select
    col1,
    null as a,
  from
    table1
);

查询语句：

select * from test1;

问题原因 #

建表SQL里null as a后面多了一个冗余逗号。Spark（Delta Lake基于Spark SQL）解析时，这个多余的逗号会导致null列的定义被忽略，表元数据中实际并未创建a列，查询时自然找不到该列。

解决办法 #

1. 移除冗余逗号，重新执行建表语句：

create or replace table test1 as (
  select
    col1,
    null as a
  from
    table1
);

2. 推荐显式指定NULL列的数据类型：
   直接用null as a时，Spark仅能推断出null类型，后续可能引发类型兼容问题。显式指定类型可让表结构更明确，示例如下：

create or replace table test1 as (
  select
    col1,
    cast(null as string) as a -- 可根据需求修改为int、date等类型
  from
    table1
);

内容的提问来源于stack exchange，提问作者Anirban Nag 'tintinmj'