如何在PLPGSQL中打开本地路径文件遍历文件记录

首先要明确：PLPGSQL作为PostgreSQL的服务端过程语言，所有文件操作的执行主体是PostgreSQL数据库进程，和你运行Python脚本的Airflow节点完全独立。你在Python里用open("./mnt/data.csv")能读到文件，是因为Python进程跑在Airflow Worker节点上，能访问该节点的本地路径；但PLPGSQL执行时，永远只会在PostgreSQL数据库进程所属的服务器节点上解析文件路径，不会跨节点访问Airflow侧的文件。

要完成对应的操作，你首先需要保证：

• 目标csv文件已经被同步/挂载到PostgreSQL服务器的本地可访问路径下（比如NFS共享挂载、文件同步到PG服务器的/mnt目录）
• 执行PLPGSQL的数据库账号拥有超级用户权限，或是被授予了pg_read_server_files内置角色，具备读取服务端本地文件的权限

方式1：用内置文件函数逐行遍历文本内容 #

适合小体量csv文件（几十MB以内）的场景，核心用到PG内置的pg_read_file、pg_stat_file函数实现文件读取，PLPGSQL代码示例：

DO $$
DECLARE
  v_full_content text;
  v_line record;
BEGIN
  -- 先校验文件存在、具备可读权限
  PERFORM * FROM pg_stat_file('/mnt/data.csv')
  WHERE size > 0;
  IF NOT FOUND THEN
    RAISE EXCEPTION 'PG服务端路径/mnt/data.csv不存在或无读权限';
  END IF;

  -- 读取文件全量文本内容
  v_full_content := pg_read_file('/mnt/data.csv');

  -- 按换行拆分逐行遍历非空内容
  FOR v_line IN
    SELECT 
      row_number() over() as line_no,
      trim(content) as row_content
    FROM regexp_split_to_table(v_full_content, E'\n') as content
    WHERE trim(content) <> ''
  LOOP
    -- 这里插入你的逐行处理逻辑
    -- 可通过split_part(row_content, ',', 列序号)拆分csv列值
    RAISE NOTICE '遍历到第%行：%', v_line.line_no, v_line.row_content;
  END LOOP;
END $$;

注意：这种方式会把整个文件加载到PG的内存中，不适合读取超过100MB的大文件，且手动拆分csv字符串无法处理带引号、转义字符、列内换行的复杂csv格式，容易出现解析错误。

方式2：通过COPY导入临时表后遍历 #

适合任意大小的csv文件，能自动处理csv格式问题：

DO $$
DECLARE
  v_row record;
BEGIN
  -- 创建随会话自动销毁的临时表，匹配csv的字段结构
  CREATE TEMP TABLE tmp_csv_rows(
    col1 text,
    col2 text,
    col3 numeric
  ) ON COMMIT DROP;

  -- 从PG服务端的csv路径批量导入临时表
  -- 可根据csv实际格式调整参数：HEADER表示首行是表头、DELIMITER指定分隔符
  COPY tmp_csv_rows FROM '/mnt/data.csv'
  WITH (FORMAT csv, HEADER true, DELIMITER ',');

  -- 遍历临时表中导入的所有csv记录
  FOR v_row IN SELECT * FROM tmp_csv_rows LOOP
    -- 这里插入你的结构化记录处理逻辑
    RAISE NOTICE '处理记录：col1=%, col2=%, col3=%', v_row.col1, v_row.col2, v_row.col3;
  END LOOP;
END $$;

这种方式的优势：

• PG会流式读取csv文件，不会一次性把全量内容加载到内存，支持GB级大文件处理
• 自动处理csv标准格式的引号转义、列内换行等特殊场景，解析准确率远高于手动拆分字符串
• 遍历过程直接操作结构化表字段，不需要手动处理字符串拆分逻辑

常见踩坑说明 #

• 路径不要写相对路径：你在Airflow中用的./mnt/data.csv是相对于Airflow进程工作目录的相对路径，PG解析相对路径时是相对于自身的data目录，和你的预期路径完全不匹配，所有PLPGSQL中的文件路径都需要写PG服务端上的绝对路径
• 不要尝试让PG读Airflow节点的本地文件：PLPGSQL运行在PG服务端进程中，没有跨网络访问Airflow节点文件系统的能力，必须提前把文件放到PG可访问的路径下
• 如果你希望直接从Airflow节点上传本地文件给PG处理，不要用PLPGSQL的服务端文件接口，而是用psql客户端的\copy命令（该命令会在客户端侧读文件，再通过网络传给PG导入表），但该逻辑不属于PLPGSQL服务端执行范围

内容的提问来源于stack exchange，提问作者cluis92