如何让PostgreSQL仅记录首次生成临时文件的查询语句？

首先得明确：原生PostgreSQL没有内置参数能直接实现“仅在首次生成临时文件时记录查询语句”——当log_temp_files = 0时，每个临时文件都会触发一条日志，同时自动附带对应的STATEMENT:行，这正是你遇到的日志暴涨问题的根源。不过我们有几个实用的 workaround 可以平衡日志需求和磁盘占用：

方案一：用auto_explain扩展替代重复的STATEMENT日志 #

这个方案是最推荐的，既能追踪到生成临时文件的查询，又不会重复记录语句：

1. 启用auto_explain扩展（需要在postgresql.conf中添加到shared_preload_libraries）：

   shared_preload_libraries = 'auto_explain' # 如果已有其他扩展，用逗号分隔
   

2. 配置auto_explain只记录生成临时文件的查询，且只记录一次：

   auto_explain.log_temp_files = 0          # 记录所有生成临时文件的查询
   auto_explain.log_analyze = off           # 关闭执行时间分析，减少日志量
   auto_explain.log_buffers = off           # 关闭缓冲区日志，进一步精简
   auto_explain.log_min_duration = 0        # 确保所有符合条件的查询都被记录
   

3. 调整原生log_temp_files的阈值，只记录大临时文件的详细日志：

   log_temp_files = 1048576                 # 只记录1MB以上的临时文件（可根据需求调整）
   

这样，小临时文件的查询只会被auto_explain记录一次执行计划，大文件的日志仍保留原有的详细记录，完美平衡你的需求。

方案二：用日志过滤工具去重（比如rsyslog） #

如果不想改动PostgreSQL配置，可以在日志收集环节过滤重复的STATEMENT:行。利用你日志前缀中的进程ID（%p）和虚拟事务ID（%v），可以识别出同一个查询的重复日志：

1. 编辑rsyslog配置（比如/etc/rsyslog.d/postgresql.conf），添加规则：

   # 定义模板提取日志内容
   $template PostgresMsg,"%msg%"
   
   # 针对PostgreSQL的STATEMENT行做去重
   if $programname == 'postgres' and $msg contains 'STATEMENT:' then {
       # 用会话+事务ID作为缓存键，缓存1小时（可调整）
       lookup("postgres_stmt_cache", $msg, "cache_expire=3600")
       if $lookup_result == 'MISS' then {
           # 首次出现的语句写入日志
           action(type="omfile" file="/var/log/postgresql/postgresql-14-main.log")
       } else {
           # 重复语句直接丢弃
           stop
       }
   }
   

2. 重启rsyslog服务生效。
   这个方案需要rsyslog支持lookup模块，注意缓存过期时间不要设置过长，避免内存占用过高。

方案三：修改PostgreSQL源码（不推荐） #

如果有定制源码的能力，可以修改src/backend/storage/file/fd.c中的临时文件日志逻辑，给每个会话/查询添加一个标志位，仅在首次生成临时文件时输出STATEMENT:行。但这个方案需要维护自定义版本，升级PostgreSQL时会非常麻烦，只适合极端场景。

内容的提问来源于stack exchange，提问作者Mauricio Peccorini