使用sqlldr加载数据时为整批行添加唯一批次ID的方法

嗨，这个问题我刚好处理过不少次——用my_db_seq.nextval直接映射的话，SQL*Loader会给每一行都调用一次序列，自然每个行的批次ID都不一样，完全不符合整批统一的需求。给你几个靠谱的解决方案，挑适合你的来用：

方法1：提前生成批次ID并硬编码到控制文件（适合单次手动加载） #

这种方法最简单，适合临时手动加载的场景：

1. 先登录数据库，从序列获取唯一的批次ID：

   SELECT my_db_seq.nextval FROM dual;
   -- 假设得到的结果是 20240501001
   

2. 修改你的SQL*Loader控制文件，把批次ID字段设为这个固定值：

   LOAD DATA
   INFILE 'your_data_file.txt'
   INTO TABLE target_table
   FIELDS TERMINATED BY ','
   (
     COLUMN1,
     COLUMN2,
     -- 把批次ID设为刚才获取的固定值
     BATCH_ID CONSTANT 20240501001
   )
   

3. 正常执行SQL*Loader加载即可，所有行的BATCH_ID都会是同一个值。

方法2：使用绑定变量（适合自动化脚本加载） #

如果需要批量自动化加载，不想每次改控制文件，用绑定变量是最佳选择：

1. 在shell脚本中先获取批次ID并保存到变量（以bash为例）：

   # 获取批次ID
   BATCH_ID=$(sqlplus -s username/password@your_db <<EOF
   SET HEAD OFF FEEDBACK OFF
   SELECT my_db_seq.nextval FROM dual;
   EOF)
   

2. 修改控制文件，用:batch_id作为绑定变量占位符：

   LOAD DATA
   INFILE 'your_data_file.txt'
   INTO TABLE target_table
   FIELDS TERMINATED BY ','
   (
     COLUMN1,
     COLUMN2,
     -- 使用绑定变量
     BATCH_ID ":batch_id"
   )
   

3. 执行SQL*Loader时传递这个绑定变量：

   sqlldr username/password@your_db control=load.ctl bindsize=1048576 batch_id=$BATCH_ID
   

这样每次加载都会自动获取一个唯一的批次ID，所有行共用这个值。

方法3：利用环境变量传递（跨脚本场景友好） #

和绑定变量思路类似，但用环境变量传递，适合复杂的脚本编排：

1. 先设置环境变量并赋值批次ID：

   export BATCH_ID=$(sqlplus -s username/password@your_db <<EOF
   SET HEAD OFF FEEDBACK OFF
   SELECT my_db_seq.nextval FROM dual;
   EOF)
   

2. 修改控制文件，引用环境变量：

   LOAD DATA
   INFILE 'your_data_file.txt'
   INTO TABLE target_table
   FIELDS TERMINATED BY ','
   (
     COLUMN1,
     COLUMN2,
     -- 引用环境变量，转成数字类型
     BATCH_ID "TO_NUMBER('$BATCH_ID')"
   )
   

3. 直接执行SQL*Loader即可，环境变量会被自动解析：

   sqlldr username/password@your_db control=load.ctl
   

注意事项 #

• 不管用哪种方法，都要确保批次ID的原子性：序列的nextval本身是原子操作，同一时间多个加载任务不会拿到重复的值，放心用。
• 如果是非常大的数据集，建议配合SQL*Loader的DIRECT=TRUE选项提升性能，这些方法在直接路径加载下同样生效。

内容的提问来源于stack exchange，提问作者saikiran