PostgreSQL中如何结合Curl调用parse_sdf函数实现数据插入？

你现在的问题很明确——你把curl命令本身作为字符串传给了parse_sdf，但函数根本不知道要去执行这个命令，它只会把curl http://test/Files/text.txt这段文本当作要解析的SDF数据，自然没法得到你想要的结果。下面给你几种可行的实现方式，按需选择：

方案1：先下载文件到服务器，再读取内容传入函数 #

如果你的PostgreSQL服务器能访问目标URL，先通过外部命令把文件下载到服务器可访问的路径，再用PostgreSQL内置的pg_read_file读取内容传给parse_sdf：

-- 先在psql交互环境中执行外部curl命令下载文件（\! 是psql执行外部命令的语法）
\! curl http://test/Files/text.txt -o /tmp/sdf_data.txt

-- 读取文件内容并传入parse_sdf
INSERT INTO test.table("Id", "Test")
SELECT props -> 'Id', props -> 'Test'
FROM parse_sdf(pg_read_file('/tmp/sdf_data.txt'));

⚠️ 注意：

• pg_read_file需要超级用户权限，或者给当前用户授予pg_read_server_files角色；
• 要确保PostgreSQL进程有权限访问目标文件路径（比如/tmp通常没问题，自定义路径需要调整权限）。

方案2：用PL/pgSQL函数直接拉取URL内容 #

如果不想依赖本地临时文件，可以写一个PL/pgSQL函数来执行curl并返回内容，再把结果传给parse_sdf：

-- 创建一个拉取URL内容的函数
CREATE OR REPLACE FUNCTION fetch_url_content(url text)
RETURNS text AS $$
DECLARE
    content text;
BEGIN
    -- 使用COPY FROM PROGRAM执行curl命令并捕获输出
    COPY (SELECT '') TO PROGRAM '/usr/bin/curl -s "' || url || '"' INTO content;
    RETURN content;
END;
$$ LANGUAGE plpgsql SECURITY DEFINER;

-- 调用函数并插入数据
INSERT INTO test.table("Id", "Test")
SELECT props -> 'Id', props -> 'Test'
FROM parse_sdf(fetch_url_content('http://test/Files/text.txt'));

⚠️ 注意：

• 需要超级用户权限创建这个函数，因为执行外部命令是受限操作；
• SECURITY DEFINER会让函数以创建者权限运行，要谨慎使用，避免权限泄露；
• 确保postgresql.conf中的secure_path包含curl的路径，或者直接写curl的绝对路径（比如/usr/bin/curl）。

方案3：在shell脚本中传递内容（适合自动化场景） #

如果是在shell脚本里执行SQL，可以先把curl的结果存到变量，再注入到SQL语句中：

# 拉取SDF内容并转义单引号（避免SQL语法错误）
SDF_CONTENT=$(curl -s http://test/Files/text.txt | sed "s/'/''/g")

# 执行插入操作
psql -d your_database_name -c "INSERT INTO test.table(\"Id\", \"Test\") SELECT props -> 'Id', props -> 'Test' FROM parse_sdf('$SDF_CONTENT');"

⚠️ 注意：

• 必须转义内容中的单引号，否则会触发SQL语法错误；
• 如果SDF内容非常大，这种方式可能会有性能问题，建议改用方案1或2。

内容的提问来源于stack exchange，提问作者Palmi