如何在Informatica PowerCenter实现每次加载2条源文件记录并删除已加载记录

这个需求的核心是每次提取源文件前2条加载，同时保留剩余记录作为下一次的源，不用特意区分首次和后续运行——逻辑是完全统一的。下面是两种可行的实现方式，优先推荐第一种高效方案：

方案一：文件分支处理+命令任务替换源文件（高效） #

这种方式直接对源文件进行拆分，避免每次全量读取，适合文件较大的场景：

1. 构建映射逻辑 #

• 给源记录生成序号
  在映射中添加一个Sequence Generator转换，设置Start Value=1、Increment By=1，给每条源记录生成唯一的自增序号（因为源无主键，用序号来区分前后顺序）。
• 拆分两个数据分支
  • 第一个分支（加载目标）：添加Filter转换，设置过滤条件为SEQ_NUM <= 2，只保留前2条记录，连接到目标表完成加载。
  • 第二个分支（保留剩余记录）：添加另一个Filter转换，设置过滤条件为SEQ_NUM > 2，把剩下的记录写入一个临时文件（比如命名为source_temp.txt，和原源文件放在同目录）。

2. 配置Workflow执行顺序 #

在Workflow Manager中，按以下顺序串联任务：

• 先运行上述映射（确保同时完成目标加载和临时文件生成）。
• 添加一个Command Task，执行操作系统命令替换原源文件：

  # Windows环境命令
  copy /Y "C:\source_dir\source_temp.txt" "C:\source_dir\original_source.txt"
  del "C:\source_dir\source_temp.txt"
  
  # Linux/Unix环境命令
  mv -f /source_dir/source_temp.txt /source_dir/original_source.txt
  

  （记得替换成你的实际文件路径）

3. 可选：添加空文件判断 #

可以在Workflow开头加一个Decision Task，检查原源文件是否为空（比如用wc -l命令判断行数是否为0），如果为空则直接终止Workflow，避免无效运行。

方案二：控制表跟踪处理进度（适合小文件） #

如果不想修改源文件，也可以用控制表记录已处理的记录数，每次读取全量源文件后过滤出未处理的前2条：

1. 创建控制表 #

在数据库中创建一张控制表，示例SQL：

CREATE TABLE ETL_PROCESS_CONTROL (
    SOURCE_FILE_NAME VARCHAR(100) PRIMARY KEY,
    PROCESSED_RECORD_COUNT INT DEFAULT 0
);

首次运行前，插入初始化记录：INSERT INTO ETL_PROCESS_CONTROL VALUES ('original_source.txt', 0);

2. 映射逻辑配置 #

• 读取控制表的已处理数
  在映射中添加一个Source Qualifier读取ETL_PROCESS_CONTROL的PROCESSED_RECORD_COUNT值，存入会话变量$$PROCESSED_COUNT。
• 过滤目标记录
  同样用Sequence Generator给源记录生成序号，然后用Filter转换保留SEQ_NUM BETWEEN $$PROCESSED_COUNT + 1 AND $$PROCESSED_COUNT + 2的记录，加载到目标表。
• 更新控制表
  添加一个Update Strategy转换，把PROCESSED_RECORD_COUNT更新为$$PROCESSED_COUNT + 2，写回控制表。

注意事项 #

• 确保Informatica服务用户拥有源文件目录的读写权限（尤其是方案一的文件替换操作）。
• 如果源文件带表头（比如CSV），要在映射中单独处理表头，避免被序号过滤掉（可以用Lookup或者自定义逻辑保留表头写入临时文件）。

内容的提问来源于stack exchange，提问作者Pranal