基于首列拆分文件为100个文件的Informatica/Unix/Teradata实现方案

我来给你分享三种不同技术栈下的实用实现方案，都是日常工作里常用的方法，你可以根据自己的运行环境来选择：

Unix 实现方案 #

这是最快捷的方式，用awk命令一行就能搞定，完全不需要额外工具：

# 可选：清理之前生成的旧文件，避免内容重复
rm -f file_*.txt
# 执行拆分逻辑
awk '{print > "file_"$1".txt"}' input_file.txt

• 细节说明：$1代表每行的第一列数值，print > "file_"$1".txt"会自动将当前行写入对应命名的文件（比如首列为1的行全部归集到file_1.txt）。awk会自动创建不存在的文件，重复执行时会覆盖原有文件；如果需要追加内容，可以把>换成>>。

Informatica 实现方案 #

如果用Informatica做ETL处理，推荐用动态文件目标（Dynamic File Target），比Router组件更简洁高效：

1. 源定义：创建Flat File Source，指定分隔符为逗号，把首列定义为数值类型字段（比如col1），后面的内容可以定义为单个字符串字段或者多个细分字段，按需选择即可。
2. 动态目标配置：在Mapping中添加File Target，开启Dynamic模式，将文件名设置为file_$$col1.txt——这里的$$col1会自动取每行的col1值作为文件名的一部分。
3. 数据流连接：直接把Source的所有字段连接到Dynamic File Target即可。
4. Session配置：在Session里确认目标文件的输出路径正确，并且允许动态生成文件。

如果你的Informatica版本不支持动态目标，也可以用Router组件替代：创建100个Group，每个Group的过滤条件设为col1 = N（N从1到100），每个Group对应一个独立的File Target，但这种方式配置起来比较繁琐，更适合小批量拆分场景。

Teradata 实现方案 #

如果数据已经在Teradata库中，或者可以先导入到Teradata表，推荐用BTEQ或TPT来实现：

方法1：BTEQ循环导出（适合中小数据量） #

假设数据存在表split_table中，字段为col1（数值型）和content（存储后续内容），可以写一个循环脚本批量导出：

.LOGON your_td_host/your_username,your_password;

-- 调整输出宽度适配内容长度，按需修改数值
SET WIDTH 2000;

-- 循环导出1到100的对应数据
FOR i FROM 1 TO 100 DO
    EXPORT DATA FILE = 'file_'||i||'.txt'
    MODE RECORD
    SELECT col1 || ',' || content FROM split_table WHERE col1 = i;
END FOR;

.LOGOFF;

方法2：TPT并行导出（适合大数据量） #

Teradata Parallel Transporter（TPT）的处理速度更快，适合大规模数据拆分，脚本示例如下：

DEFINE JOB split_data_by_col1
DESCRIPTION 'Split table data into separate files by col1 value'
(
    DEFINE SCHEMA split_schema
    (
        col1 INTEGER,
        content VARCHAR(1000)
    );

    DEFINE OPERATOR source_selector
    TYPE SELECTOR
    SCHEMA split_schema
    ATTRIBUTES
    (
        VARCHAR Query = 'SELECT col1, content FROM split_table;'
    );

    DEFINE OPERATOR target_exporter
    TYPE EXPORT
    SCHEMA split_schema
    ATTRIBUTES
    (
        VARCHAR FileName = 'file_%col1%.txt',
        VARCHAR Format = 'DELIMITED',
        VARCHAR Delimiter = ','
    );

    APPLY TO OPERATOR (target_exporter)
    SELECT * FROM OPERATOR (source_selector);
);

内容的提问来源于stack exchange，提问作者Sudarshan H R