如何在Postgres/PGAdmin平台使用pgloader上传固定宽度数据？

一、pgloader基础使用步骤 #

• 安装pgloader：根据操作系统选择对应命令安装，比如Debian/Ubuntu系统执行sudo apt-get install pgloader，CentOS/RHEL用sudo yum install pgloader，也可以从官方源码编译安装。
• 提前准备目标表：直接在PGAdmin里创建好要导入的目标表，比如对应示例的表结构：

CREATE TABLE contacts (
    given_name VARCHAR(20),
    mobile VARCHAR(15)
);

• 执行导入命令：pgloader是命令行工具，无需依赖PGAdmin界面，直接通过终端运行。基本命令格式为：

pgloader <源配置/源文件> <Postgres连接串>

Postgres连接串格式：postgresql://用户名:密码@主机地址:端口/数据库名

二、导入固定宽度列的文本文件 #

针对你提供的字段位置和长度定义，需要通过pgloader的配置脚本指定字段规则：

1. 编写配置脚本：新建一个后缀为.load的配置文件（比如fixed_width_load.load），内容如下：

LOAD FIXED
    FROM '/绝对路径/你的文本文件.txt'
    INTO postgresql://dbuser:dbpass@localhost/your_db?table=contacts
    WITH truncate,
         fields (
             given_name position 1 length 20,
             mobile position 22 length 15
         )
    SET client_encoding to 'utf8';

• 关键参数说明：
  • LOAD FIXED：明确处理固定宽度格式的文本
  • fields块：严格按照你的定义，每个字段指定起始position（从1开始计数）和length
  • truncate：可选参数，导入前清空目标表数据，按需添加
  • client_encoding：设置和文本文件一致的编码，避免乱码

2. 运行导入：在终端执行命令：

pgloader fixed_width_load.load

3. 验证结果：回到PGAdmin，执行查询语句查看导入的数据：

SELECT * FROM contacts;

注意事项 #

• 如果你的文本文件包含表头行，需要在配置脚本的WITH块里添加skip header = 1来跳过第一行
• 起始位置和长度必须严格匹配文本中的字段位置，否则会导致数据错位
• 确保pgloader有访问文本文件的权限，以及Postgres数据库的写入权限

内容的提问来源于stack exchange，提问作者Tanzir