使用Meltano对接PostgreSQL时临时文件超限制问题求助

问题根源 #

报错psycopg2.errors.ConfigurationLimitExceeded: temporary file size exceeds temp_file_limit (13411002kB)是源PostgreSQL数据库的全局临时文件限制过小导致的。tap-postgres插件默认不会修改该参数，当同步大表需要执行排序、聚合等操作时，PostgreSQL生成的临时文件超出了数据库设置的上限。

解决方案 #

1. 临时调整源数据库的临时文件限制（会话级） #

连接源PostgreSQL数据库，执行以下命令临时取消或提升限制：

-- 取消临时文件大小限制（仅当前会话有效）
SET temp_file_limit = '0';

-- 或者设置更大的限制值，比如20GB
SET temp_file_limit = '20GB';

执行后再运行Meltano同步任务，此设置仅对当前数据库会话生效，重启会话或数据库后会恢复默认值。

2. 永久修改源数据库的全局配置 #

编辑源PostgreSQL的postgresql.conf配置文件：

• 找到temp_file_limit参数，修改为更大的值（如20GB），或设置为0关闭限制：

  temp_file_limit = 20GB  # 或者设置为0表示无限制
  

• 保存文件后，重启PostgreSQL服务使配置生效。

3. 优化Meltano同步配置减少临时文件生成 #

• 启用增量同步：对于大表，在tap-postgres的dev环境配置中添加增量同步设置，避免全表扫描：

  environments:
  - name: dev
    config:
      plugins:
        extractors:
        - name: tap-postgres
          config:
            dbname: $TAP_POSTGRES_DBNAME
            user: $TAP_POSTGRES_USER
            replication_method: LOG_BASED  # 逻辑复制，需源库开启wal_level=logical
            # 或者使用基于递增键的增量同步
            # replication_key: id
            # replication_method: INCREMENTAL
  

• 拆分同步任务：将大表的同步拆分为多个小任务（比如按日期分片），减少单次查询的数据量。
• 调整批量读取大小：在tap-postgres配置中添加batch_size参数，降低每次读取的数据量：

  config:
    batch_size: 10000  # 根据实际情况调整，默认可能较大
  

4. 检查源数据库磁盘空间 #

确保源数据库所在的磁盘有足够的剩余空间，避免因磁盘满导致临时文件写入失败。

内容的提问来源于stack exchange，提问作者Dev024