Delta Lake表设置GENERATED列报错，是否仅Databricks支持该特性？

核心结论 #

GENERATED ALWAYS AS（生成列）和列默认值特性仅在Databricks环境中可用，开源Delta Lake社区版并不支持该语法，这就是你遇到报错的原因。

具体说明 #

• 开源Delta Lake的官方规范中未定义生成列或默认值的语法，这些是Databricks基于开源Delta开发的专属增强功能，仅适配Databricks Runtime、Databricks SQL等Databricks自有环境。
• 你测试的SPARK-SQL+Delta Core、Hive JDBC+Delta Sharing均基于开源Delta Lake，不支持该扩展语法，因此执行包含GENERATED关键字的SQL会触发语法错误。
• 你的SQL语句本身在Databricks环境下是合法的，但不适用于开源Delta场景。

开源Delta环境的替代方案 #

如果需要在开源Delta中实现类似效果，可通过以下方式处理：

• 固定生成值列：在写入数据时手动添加该列的固定值，或创建视图封装查询逻辑，在视图中自动计算生成该列。
• 列默认值：在数据写入阶段（如Spark DataFrame写入）通过代码逻辑指定默认值，或使用自定义函数（UDF）填充缺失值。

内容的提问来源于stack exchange，提问作者Luis Estrada