pg_bulkload是否支持读取S3存储桶文件？脚本及生产部署方法咨询

pg_bulkload原生没有内置S3对象存储的读取能力，生产环境一般通过两种间接方案实现：一是将S3桶挂载为本地文件系统后直接读取，二是先将S3文件拉取到本地临时目录再执行导入。

实现脚本 #

方案1：S3桶挂载方案（适合大文件、高频导入场景） #

该方案依赖s3fs-fuse工具把S3桶挂载到本地路径，pg_bulkload可以直接读取挂载路径下的文件，不需要额外的文件拉取逻辑。

前置操作

# 安装s3fs-fuse（CentOS/RHEL为例）
yum install s3fs-fuse -y
# 配置S3认证信息，写入到~/.passwd-s3fs，权限设为600
echo "AK:SK" > ~/.passwd-s3fs
chmod 600 ~/.passwd-s3fs
# 挂载S3桶到本地路径
mkdir -p /mnt/s3_bucket
s3fs 你的桶名 /mnt/s3_bucket -o url=https://s3.你的区域.amazonaws.com -o use_path_request_style

pg_bulkload控制文件（s3_load.ctl）

INPUT = /mnt/s3_bucket/your_data.csv
OUTPUT = public.target_table
TYPE = CSV
DELIMITER = ','
QUOTE = '"'
ERROR_LIMIT = 0
LOGFILE = /var/log/pg_bulkload/s3_load.log
BADFILE = /var/log/pg_bulkload/s3_load.bad

执行导入命令

pg_bulkload -d 你的数据库名 -U 数据库用户 s3_load.ctl

方案2：临时拉取文件方案（适合低频、小文件导入场景，不需要持久挂载） #

该方案不需要挂载S3，仅依赖aws cli拉取文件到本地临时目录，导入完成后自动清理，稳定性更高，避免挂载断开导致的导入异常。

完整执行脚本

#!/bin/bash
# 配置变量
DB_NAME="your_db"
DB_USER="postgres"
S3_PATH="s3://你的桶名/your_data.csv"
LOCAL_TMP_DIR="/tmp/pg_bulkload_tmp"
CTL_FILE="/opt/pg_bulkload_scripts/tmp_load.ctl"
LOG_PATH="/var/log/pg_bulkload/tmp_load.log"
BAD_PATH="/var/log/pg_bulkload/tmp_load.bad"

# 初始化目录
mkdir -p ${LOCAL_TMP_DIR}
mkdir -p $(dirname ${LOG_PATH})

# 拉取S3文件
aws s3 cp ${S3_PATH} ${LOCAL_TMP_DIR}/
if [ $? -ne 0 ]; then
    echo "S3文件拉取失败"
    exit 1
fi

# 生成控制文件
cat > ${CTL_FILE} << EOF
INPUT = ${LOCAL_TMP_DIR}/$(basename ${S3_PATH})
OUTPUT = public.target_table
TYPE = CSV
DELIMITER = ','
QUOTE = '"'
ERROR_LIMIT = 0
LOGFILE = ${LOG_PATH}
BADFILE = ${BAD_PATH}
EOF

# 执行导入
pg_bulkload -d ${DB_NAME} -U ${DB_USER} ${CTL_FILE}
LOAD_EXIT_CODE=$?

# 清理临时文件
rm -rf ${LOCAL_TMP_DIR}
rm -f ${CTL_FILE}

# 返回导入结果
if [ ${LOAD_EXIT_CODE} -eq 0 ]; then
    echo "数据导入成功"
    exit 0
else
    echo "数据导入失败，详见日志${LOG_PATH}"
    exit 1
fi

生产环境部署流程 #

• 依赖校验
  • 确认pg_bulkload大版本与PostgreSQL服务大版本完全匹配，避免版本不兼容导致的导入崩溃
  • 安装对应依赖：选择挂载方案则安装s3fs-fuse，选择拉取方案则安装aws cli
  • 权限配置：生产环境禁止硬编码AK/SK，如果是云内资源建议绑定IAM角色，仅授予S3桶的只读权限；云外场景使用AWS配置文件存认证信息，权限设为600仅限postgres用户读取
• 脚本部署
  • 脚本、控制文件统一存放到固定运维目录，比如/opt/pg_bulkload_scripts，目录权限设为700，属主为postgres用户
  • 脚本增加幂等逻辑：导入前先校验待导入批次数据是否已写入，避免重复导入导致的数据重复
• 测试验证
  • 先用100行以内的小测试文件验证字段匹配、编码、约束规则的正确性，校验导入后数据量与源文件一致
  • 验证异常场景：S3文件不存在、文件格式错误、主键冲突时脚本是否正常报错退出，无脏数据写入
• 调度配置
  • 定时任务用crontab或者工作流调度工具配置，调度用户使用权限最小的postgres用户，不要用root执行
  • 导入日志、坏数据文件配置日志轮转，保留至少30天，方便问题排查
• 监控配置
  • 配置脚本执行返回码告警，非0返回时触发短信/邮件告警
  • 监控导入耗时，耗时突增时排查S3带宽、PostgreSQL服务负载、锁等待问题
• 容灾预案
  • 超过1G的大文件建议拆分为分片文件分批导入，减少单次导入故障影响范围
  • 导入失败后支持自动重跑，重跑前清理上一次导入的半写数据，保证数据一致性

内容的提问来源于stack exchange，提问作者Shajila KP