如何在Azure Data Factory V2复制活动中为CSV空数据列设置默认值

报错原因 #

你遇到的报错核心是CSV中is_active字段的空内容默认被PostgreSQL识别为空字符串，无法直接转换为bit类型，同时未触发空值默认值填充逻辑，可通过以下任意方案解决：

方案1：表结构预先设置默认值（批量场景首选） #

该方案无需修改导入逻辑，一次配置永久生效，适合大量CSV批量导入的场景

1. 先给对应字段设置表级默认值，示例中要给is_active设置默认0的话执行：

ALTER TABLE employee ALTER COLUMN is_active SET DEFAULT 0;

2. 导入时使用COPY命令指定空值识别规则，把CSV中的空字段识别为NULL，触发默认值自动填充：

COPY employee FROM '/你的CSV文件绝对路径/employee.csv'
WITH (
  FORMAT csv,
  DELIMITER '|',
  HEADER true,
  NULL ''
);

其中NULL ''参数的作用是告知PostgreSQL，两个分隔符中间的空内容统一识别为NULL值。

方案2：导入时转换处理（无需修改表结构） #

如果不想改动原有表结构，可以走临时表中转的方式实现空值填充：

1. 新建和正式表结构一致的临时表：

CREATE TEMP TABLE temp_employee (LIKE employee);

2. 把CSV数据导入临时表：

COPY temp_employee FROM '/你的CSV文件绝对路径/employee.csv'
WITH (
  FORMAT csv,
  DELIMITER '|',
  HEADER true
);

3. 转换后写入正式表，使用COALESCE函数为空值指定默认值：

INSERT INTO employee (id, name, is_active)
SELECT 
  id,
  name,
  COALESCE(is_active::text::bit, B'0') 
FROM temp_employee;

临时表会在会话结束后自动销毁，不会残留冗余数据。

批量处理多CSV的Shell脚本示例 #

如果有多份对应表结构的CSV需要统一导入，可以直接用以下Shell脚本批量处理，提前给所有需要填充默认值的字段配置表级默认值即可：

#!/bin/bash
# 配置项
CSV_DIR="/存放所有CSV文件的目录路径"
PG_USER="你的PostgreSQL用户名"
PG_DB="你的目标数据库名"

# 遍历所有csv文件
for csv_file in "$CSV_DIR"/*.csv; do
  # 提取文件名作为目标表名
  table_name=$(basename "$csv_file" .csv)
  echo "正在导入表：$table_name"
  # 执行导入命令
  psql -U "$PG_USER" -d "$PG_DB" -c "
  COPY $table_name FROM '$csv_file'
  WITH (FORMAT csv, DELIMITER '|', HEADER true, NULL '');
  "
done

可视化工具导入配置 #

如果使用DBeaver、DataGrip等可视化工具导入，无需写SQL，在导入配置页做以下设置即可：

• 分隔符指定为|
• 空值识别符设置为空（即无任何字符）
• 勾选「使用字段默认值填充空值」类选项（不同工具命名略有差异）

内容的提问来源于stack exchange，提问作者Rabiul Aleem