如何在pgloader加载CSV文件时跳过特定列为空的行？

pgloader 支持通过 FILTER 子句实现行级条件过滤，刚好可以满足你跳过指定列值为空的行的需求，以下是具体实现方式：

1. 配置文件方式（推荐） #

如果使用pgloader的配置文件（.load 或 .ini 格式）加载CSV，只需在配置中添加 FILTER 子句，用SQL表达式定义过滤规则：

示例场景：跳过email列值为空的行 #

假设你的CSV文件为user_data.csv，目标表为public.users，配置文件内容如下：

LOAD CSV
    FROM 'user_data.csv'
    INTO postgresql://username:password@localhost/dbname?table=public.users
    WITH skip header = 1,  # 如果CSV有表头行就开启
         fields optionally enclosed by '"',
         fields terminated by ',',
         null as ''  # 将CSV中的空字符串映射为SQL NULL

    BEFORE LOAD DO
        $$ CREATE TABLE IF NOT EXISTS public.users (
            id INT,
            username TEXT,
            email TEXT
        ) $$;

    # 核心过滤规则：仅保留email不为空的行
    FILTER (email IS NOT NULL);

过滤规则说明 #

• 如果需要同时排除空字符串和SQL NULL，可调整过滤条件：

  FILTER (email IS NOT NULL AND email != '');
  

• 若要针对其他列（比如username）过滤，直接替换列名即可：

  FILTER (username IS NOT NULL AND username != '');
  

2. 命令行直接加载方式 #

如果不想写配置文件，可通过--filter参数在命令行指定过滤规则：

pgloader \
  --filter 'email IS NOT NULL' \
  --with 'skip header=1' \
  --with 'null as ''''' \
  csv://user_data.csv \
  postgresql://username:password@localhost/dbname?table=public.users

注意事项 #

• 确保过滤条件中的列名与CSV表头（或你指定的列映射）一致，若CSV无表头，可通过columns子句显式指定列顺序：

  LOAD CSV
      FROM 'user_data.csv'
      INTO postgresql://...
      COLUMNS (id, username, email)  # 对应CSV的列顺序
      ...
      FILTER (email IS NOT NULL);
  

• 若CSV中的空值是其他标记（比如N/A），可调整null as参数或修改过滤条件匹配该标记。

内容的提问来源于stack exchange，提问作者aman jain