如何在Databricks中生成SQL UDF或Delta Lake表的创建脚本？

一、生成Delta Lake表的创建脚本 #

1. 利用系统视图拼接SQL #

通过Unity Catalog的information_schema系统视图提取表元数据，自动拼接出CREATE TABLE语句：

WITH table_columns AS (
    SELECT 
        table_catalog, table_schema, table_name,
        array_agg(
            concat(
                column_name, ' ', data_type,
                CASE WHEN is_nullable = 'NO' THEN ' NOT NULL' ELSE '' END,
                CASE WHEN column_comment IS NOT NULL THEN concat(' COMMENT ''', column_comment, '''') ELSE '' END
            ) ORDER BY ordinal_position
        ) AS column_defs
    FROM information_schema.columns
    WHERE table_catalog = '你的目录名'
      AND table_schema = '你的模式名'
      AND table_name = '你的表名'
    GROUP BY table_catalog, table_schema, table_name
),
table_props AS (
    SELECT 
        table_catalog, table_schema, table_name,
        array_agg(concat('''', property_name, ''', ''', property_value, '''')) AS prop_defs
    FROM information_schema.table_storage_properties
    WHERE table_catalog = '你的目录名'
      AND table_schema = '你的模式名'
      AND table_name = '你的表名'
    GROUP BY table_catalog, table_schema, table_name
)
SELECT concat(
    'CREATE TABLE ', table_catalog, '.', table_schema, '.', table_name, ' (\n  ',
    array_join(column_defs, ',\n  '),
    '\n) USING DELTA\n',
    CASE WHEN prop_defs IS NOT NULL THEN concat('TBLPROPERTIES (\n  ', array_join(prop_defs, ',\n  '), '\n)') ELSE '' END
) AS create_table_script
FROM table_columns
LEFT JOIN table_props USING (table_catalog, table_schema, table_name);

运行后结果中的create_table_script就是完整的表创建脚本，可根据需求补充分区、集群键等额外配置。

2. 通过DESCRIBE EXTENDED提取细节 #

执行DESCRIBE EXTENDED 你的目录名.你的模式名.你的表名;，结果会列出表的列定义、分区信息、存储位置、表属性等所有元数据，可基于这些信息快速整理出创建脚本，或结合自定义代码自动生成。

3. 用Databricks CLI获取元数据 #

使用Databricks CLI命令导出表的完整元数据：

databricks tables get --catalog 你的目录名 --schema 你的模式名 --name 你的表名

命令返回JSON格式的元数据，可编写简单的Python脚本解析其中的columns、partitionColumns、properties等字段，自动生成CREATE TABLE语句。

二、生成SQL UDF的创建脚本 #

1. 查询information_schema.routines视图 #

Unity Catalog的information_schema.routines视图直接存储了UDF的定义语句，执行以下SQL即可获取：

SELECT routine_definition
FROM information_schema.routines
WHERE routine_catalog = '你的目录名'
  AND routine_schema = '你的模式名'
  AND routine_name = '你的UDF名'
  AND routine_type = 'FUNCTION';

返回的routine_definition字段就是创建该UDF的完整SQL脚本。

2. 使用DESCRIBE FUNCTION EXTENDED #

执行DESCRIBE FUNCTION EXTENDED 你的目录名.你的模式名.你的UDF名;，结果中的Function Definition部分会直接显示UDF的创建SQL，复制即可使用。

内容的提问来源于stack exchange，提问作者Ken Masters