如何将Azure存储账户的CSV文件导入Azure PostgreSQL及语法错误解决

首先，你遇到的syntax error at or near "CREDENTIALS"错误，是因为Azure PostgreSQL（包括单服务器和灵活服务器）的原生COPY命令并不支持CREDENTIALS参数——这个参数是其他云数据库（比如AWS Redshift）的语法，PostgreSQL生态里没有这个选项，直接使用就会触发语法错误。

下面给你三种可行的方案，从直接数据库操作到ETL工具都有，你可以根据场景选择：

方案1：使用azure_storage_fdw外部数据包装器（推荐） #

这是Azure官方推荐的方式，通过外部数据包装器直接挂载Azure存储的文件，像操作本地表一样导入数据：

1. 先安装azure_storage_fdw扩展：

CREATE EXTENSION IF NOT EXISTS azure_storage_fdw;

2. 创建连接到Azure存储的服务器对象（替换你的存储账户名和密钥/SAS令牌）：

CREATE SERVER azure_storage_server
FOREIGN DATA WRAPPER azure_storage_fdw
OPTIONS (
    account_name 'abc', -- 你的存储账户名称
    account_key 'your_storage_account_access_key' -- 或者用sas_token='your_sas_token'
);

3. 为当前用户创建存储账户的映射：

CREATE USER MAPPING FOR CURRENT_USER
SERVER azure_storage_server;

4. 创建和CSV结构匹配的外部表（务必确保列定义和CSV完全对应）：

CREATE FOREIGN TABLE ccsm.vital_signs_external (
    -- 示例列，替换成你实际的CSV列
    patient_id VARCHAR(64),
    vital_type VARCHAR(32),
    reading NUMERIC(8,2),
    recorded_at TIMESTAMP
)
SERVER azure_storage_server
OPTIONS (
    container 'dta', -- 存储容器名
    filename 'abc.csv', -- 目标CSV文件名
    format 'csv',
    delimiter '|',
    header 'true' -- 表示CSV包含表头行
);

5. 最后将外部表的数据导入到你的本地表：

INSERT INTO ccsm.vital_signs
SELECT * FROM ccsm.vital_signs_external;

方案2：使用COPY FROM PROGRAM结合Azure CLI #

如果你的PostgreSQL服务器允许执行外部程序（需要在服务器配置中开启copy_program参数，灵活服务器可在Azure门户的服务器参数里调整），可以用Azure CLI下载Blob并通过标准输出传递给COPY：

COPY ccsm.vital_signs FROM PROGRAM 'az storage blob download --container-name dta --name abc.csv --account-name abc --account-key your_access_key --file -'
DELIMITER '|' CSV HEADER;

这里的--file -表示将Blob内容输出到标准输出，让COPY命令直接读取。

方案3：使用Azure Data Factory/Logic Apps做ETL（适合大规模/定时同步） #

如果需要定时同步数据，或者处理大规模CSV文件，推荐用Azure Data Factory（ADF）：

• 配置Azure存储作为数据源，Azure PostgreSQL作为数据目标
• 新建复制活动，选择CSV格式，设置分隔符为|并启用表头识别
• 可以设置调度周期，实现自动化同步

额外注意事项 #

• 网络权限：确保Azure PostgreSQL服务器能访问你的存储账户——可以将存储账户防火墙设置为允许PostgreSQL服务器的IP，或者开启VNet集成，或者设置存储账户为"允许所有网络访问"（测试用，生产环境不推荐）
• 权限要求：执行上述操作的数据库用户需要有CREATE EXTENSION、USAGE ON FOREIGN SERVER、INSERT ON TABLE等对应权限
• CSV格式校验：提前确认CSV的分隔符、表头列和目标表结构完全匹配，避免导入时出现数据类型不兼容错误

内容的提问来源于stack exchange，提问作者Sachin