如何创建调用curl从URL加载数据的PostgreSQL函数？

咱们一步步拆解你的问题，先分析你给出的两种尝试，再给出可行的解决方案：

你的第一个PL/pgSQL函数为什么不可行？ #

你写的这段代码：

CREATE OR REPLACE FUNCTION get_content_from_url(url text) RETURNS text LANGUAGE plpgsql AS $$ BEGIN RETURN PROGRAM 'curl ' + url; END $$;

有两个核心问题：

1. 语法错误：PL/pgSQL中根本没有RETURN PROGRAM这种语法，这个写法完全不合法。
2. PL/pgSQL本身不支持直接调用外部命令：PL/pgSQL是PostgreSQL的过程化SQL语言，只能执行SQL相关操作，无法直接触发系统命令，必须借助其他机制（比如COPY命令、外部语言扩展）来实现。

你的plsh函数出错的原因及修复方案 #

你尝试的plsh函数方向是对的，但有几个细节没处理好：

CREATE FUNCTION load_file_content (text) RETURNS text AS ' #!/bin/bash curl $1 ' LANGUAGE plsh;

常见的错误原因及修复：

1. 缺少plsh扩展：首先要确保已经安装并启用了plsh扩展，执行这条命令先安装：

   CREATE EXTENSION IF NOT EXISTS plsh;
   

2. 参数未转义：URL里如果包含空格、&、?等特殊字符，直接用$1会导致curl命令解析错误，必须用引号包裹参数。
3. curl输出冗余信息：默认curl会输出进度条，需要加-s参数静默执行，只返回内容。

修复后的plsh函数：

CREATE OR REPLACE FUNCTION load_file_content(url text) 
RETURNS text AS $$
#!/bin/bash
# 加-s静默模式，用双引号包裹参数避免特殊字符问题，同时设置超时防止阻塞
curl -s --max-time 10 "$1"
$$ LANGUAGE plsh;

我还加了--max-time 10参数，防止curl因为网络问题长时间阻塞，你可以根据需求调整超时时间。

另一种方案：用PL/pgSQL结合COPY命令实现 #

如果你不想依赖plsh扩展，也可以用PL/pgSQL通过COPY命令调用外部程序，这是PostgreSQL原生支持的方式：

CREATE OR REPLACE FUNCTION get_content_from_url(url text)
RETURNS text AS $$
DECLARE
    content text;
BEGIN
    -- 使用quote_literal转义URL，避免SQL注入和命令注入风险
    COPY (SELECT '') TO PROGRAM 'curl -s --max-time 10 ' || quote_literal(url) INTO content;
    RETURN content;
EXCEPTION
    WHEN OTHERS THEN
        RETURN 'Error fetching content: ' || SQLERRM;
END;
$$ LANGUAGE plpgsql;

这里的关键是用quote_literal(url)对URL进行转义，防止恶意URL注入危险命令。如果你的PostgreSQL版本是12+，可以用更适合shell命令的quote_shell(url)函数，转义更准确。

重要安全提醒 #

• 命令注入风险：如果这个函数要处理用户输入的URL，一定要严格转义参数，否则攻击者可以构造恶意URL执行系统命令（比如'; rm -rf /; #）。
• 权限控制：PostgreSQL的运行用户（通常是postgres）需要有执行curl的权限，并且服务器的网络策略要允许访问目标URL。
• 性能与稳定性：网络请求可能会阻塞数据库进程，建议设置合理的超时时间，避免影响其他数据库操作。

内容的提问来源于stack exchange，提问作者Palmi