如何在Azure Data Factory中基于Script Activity输出用表达式生成器创建DDL语句

需求说明 #

基于Script Activity返回的JSON输出，提取resultSets[0].rows数组里的name和type字段，生成标准的CREATE TABLE语句。

给定的Script Activity输出示例 #

{
    "resultSetCount": 1,
    "recordsAffected": 78,
    "resultSets": [
        {
            "rowCount": 78,
            "rows": [
                {
                    "name": "employee",
                    "type": "NUMBER(12,0)",
                    "kind": "COLUMN",
                    "null?": "Y",
                    "default": null,
                    "primary key": "N",
                    "unique key": "N",
                    "check": null,
                    "expression": null,
                    "comment": "",
                    "policy name": null,
                    "privacy domain": null
                },
                {
                    "name": "salary",
                    "type": "VARCHAR(16777216)",
                    "kind": "COLUMN",
                    "null?": "Y",
                    "default": null,
                    "primary key": "N",
                    "unique key": "N",
                    "check": null,
                    "expression": null,
                    "comment": "",
                    "policy name": null,
                    "privacy domain": null
                }
            ]
        }
    ]
}

表达式生成器实现方案 #

在ADF的表达式生成器中，使用以下表达式即可生成目标建表语句：

@concat(
    'CREATE TABLE emp(',
    join(
        map(
            activity('Script Activity').output.resultSets[0].rows,
            concat(item().name, ' ', item().type)
        ),
        ',\n'
    ),
    '\n);'
)

表达式解析 #

1. map函数：遍历rows数组，将每个元素的name和type字段拼接成列名 数据类型的格式，比如employee NUMBER(12,0)。
2. join函数：将所有拼接好的列定义用,\n分隔，保证每个列占一行，格式更清晰。
3. concat函数：将建表语句的前缀、列定义集合、后缀拼接成完整的SQL语句。

生成的最终SQL语句 #

运行上述表达式后，会生成如下标准建表语句：

CREATE TABLE emp(
employee NUMBER(12,0),
salary VARCHAR(16777216)
);

扩展说明 #

如果需要动态指定表名，只需将表达式中的emp替换为变量或其他动态值即可，例如：

@concat(
    'CREATE TABLE ', variables('TargetTableName'), '(',
    join(
        map(
            activity('Script Activity').output.resultSets[0].rows,
            concat(item().name, ' ', item().type)
        ),
        ',\n'
    ),
    '\n);'
)

内容的提问来源于stack exchange，提问作者Vamshi Reddy