如何循环动态生成目标文件？按规则路由记录至3个目标文件

这个需求本质是循环分组轮询路由，核心逻辑很清晰，我给你拆解思路和几种常用实现方式：

核心逻辑梳理 #

首先给每条记录计算两个关键值：

1. 分组序号：把每3条记录归为一组，用公式 (记录ID - 1) // 3 计算。比如ID1-3对应分组0，ID4-6对应分组1，ID7-9对应分组2，ID10-12对应分组3，以此类推。
2. 目标文件索引：用分组序号对3取模 分组序号 % 3，结果0对应目标文件1，1对应目标文件2，2对应目标文件3。这样分组3取模3得0，又回到目标文件1，完美实现循环分配。

1. Python脚本实现（通用易读） #

如果用Python处理文本文件，代码直观易懂，适合大多数场景：

# 配置文件路径
source_path = "source_data.txt"
target_paths = ["target_1.txt", "target_2.txt", "target_3.txt"]

# 打开所有文件句柄
with open(source_path, 'r') as src_file, \
     open(target_paths[0], 'w') as t1, \
     open(target_paths[1], 'w') as t2, \
     open(target_paths[2], 'w') as t3:
    
    # 读取并写入表头（如果需要保留表头的话）
    header = src_file.readline()
    t1.write(header)
    t2.write(header)
    t3.write(header)
    
    # 遍历处理每一行数据
    for line_num, line in enumerate(src_file, start=1):
        # 计算目标文件索引，这里line_num对应记录ID（假设ID是连续递增的）
        group_idx = ((line_num - 1) // 3) % 3
        if group_idx == 0:
            t1.write(line)
        elif group_idx == 1:
            t2.write(line)
        else:
            t3.write(line)

注意：如果源文件的ID不是连续的（比如有缺失），直接用记录里的ID值替换line_num即可。

2. Shell脚本实现（Linux环境高效处理） #

如果在Linux服务器上处理大文件，用awk结合Shell命令效率更高：

# 先将表头写入三个目标文件
head -1 source_data.txt > target_1.txt
head -1 source_data.txt > target_2.txt
head -1 source_data.txt > target_3.txt

# 用awk处理数据行，实现路由逻辑
tail -n +2 source_data.txt | awk '{
    # NR是awk内置变量，代表当前处理的行号（从1开始，对应第一条数据记录）
    group = ((NR - 1) // 3) % 3
    if (group == 0) print $0 >> "target_1.txt"
    else if (group == 1) print $0 >> "target_2.txt"
    else print $0 >> "target_3.txt"
}'

3. ETL工具中的实现（以Informatica为例） #

如果用ETL工具（比如Informatica PowerCenter），直接在Router转换中配置路由条件即可：

• 路由到目标文件1的条件：((ID - 1) / 3) % 3 = 0
• 路由到目标文件2的条件：((ID - 1) / 3) % 3 = 1
• 路由到目标文件3的条件：((ID - 1) / 3) % 3 = 2

不同ETL工具的整数除法语法可能有差异，比如有些工具用DIV代替/，按需调整即可。

内容的提问来源于stack exchange，提问作者Kantshri Baronia