ADF复制活动中ODBC接收器数据集自动建表失败问题排查

问题描述 #

尝试在ADLS数据集和ODBC接收器数据集（对接PostgreSQL）之间执行复制活动时，目标端未自动创建表，报错如下：

Failure happened on 'Sink' side. ErrorCode=UserErrorOdbcOperationFailed,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=ERROR [42P01] ERROR: relation "semantic_dev.dim_storage_location" does not exist;
Error while preparing parameters,Source=Microsoft.DataTransfer.ClientLibrary.Odbc.OdbcConnector,''Type=Microsoft.DataTransfer.ClientLibrary.Odbc.Exceptions.OdbcException,Message=ERROR [42P01] ERROR: relation "semantic_dev.dim_storage_location" does not exist;
Error while preparing parameters,Source=PSQLODBC35W.DLL

当前无法直接创建PostgreSQL接收器数据集，仅能使用ODBC接收器数据集，其JSON配置如下：

{
    "name": "AZR_DS_PSQL_PROC_LAYER",
    "properties": {
        "linkedServiceName": {
            "referenceName": "AZR_LS_PSQL_ODBC_STRL_POC",
            "type": "LinkedServiceReference"
        },
        "parameters": {
            "Schema_name": {
                "type": "string"
            },
            "Table_name": {
                "type": "string"
            }
        },
        "annotations": [],
        "type": "OdbcTable",
        "schema": [],
        "typeProperties": {
            "tableName": {
                "value": "@concat(dataset().Schema_name,'.',dataset().Table_name)",
                "type": "Expression"
            }
        }
    },
    "type": "Microsoft.DataFactory/factories/datasets"
}

解决方案 #

方案一：基于ODBC连接器实现自动建表 #

• 开启复制活动自动建表：在复制活动的接收器配置中添加enableAutoCreateTable: true参数。注意ODBC连接器自动建表依赖源数据集的Schema信息，需确保ADLS源数据集的Schema能被正确解析（比如Parquet/CSV格式需配置正确的Schema推断规则）。
• 完善数据集Schema配置：不要让schema字段留空，若能提前确定目标表结构可手动填写字段信息；也可依赖ADF自动推断源Schema并映射到目标。
• 检查数据库账号权限：ODBC链接服务使用的PostgreSQL账号必须具备CREATE TABLE权限，否则自动建表会因权限不足失败。

方案二：改用原生PostgreSQL链接服务及数据集 #

ADF原生支持PostgreSQL作为接收器，无需依赖ODBC，步骤如下：

1. 创建原生PostgreSQL链接服务：选择PostgreSQL类型，填写服务器地址、数据库名、用户名、密码，测试连接确保可用。
2. 创建PostgreSQL接收器数据集：关联上述原生链接服务，沿用参数化的Schema和表名逻辑，示例配置如下：

{
    "name": "AZR_DS_PSQL_PROC_LAYER_NATIVE",
    "properties": {
        "linkedServiceName": {
            "referenceName": "AZR_LS_PSQL_NATIVE",
            "type": "LinkedServiceReference"
        },
        "parameters": {
            "Schema_name": {
                "type": "string"
            },
            "Table_name": {
                "type": "string"
            }
        },
        "annotations": [],
        "type": "PostgreSqlTable",
        "schema": [],
        "typeProperties": {
            "tableName": {
                "value": "@concat(dataset().Schema_name,'.',dataset().Table_name)",
                "type": "Expression"
            }
        }
    },
    "type": "Microsoft.DataFactory/factories/datasets"
}

3. 配置复制活动：在复制活动的接收器设置中开启自动创建表功能，原生PostgreSQL连接器的自动建表逻辑更稳定，可直接从源Schema推断目标表结构。

内容的提问来源于stack exchange，提问作者Vishal