基于文件大小拆分输入文件并复制表头至输出数据集的技术方案问询

一、DFSORT SORTCARD实现方案 #

如果你的系统部署了DFSORT（z/OS环境下的标准排序工具），可以直接通过SORTCARD控制卡实现需求，无需编写程序。核心思路是标记表头、保存表头，再按大小拆分数据并为每个输出文件插入表头。

示例控制卡（假设表头为第一行） #

//SYSIN    DD *
  OPTION COPY
  // 给每条记录添加8位序列号，用于识别表头
  INREC IFTHEN=(WHEN=INIT,BUILD=(1:1,80,81:SEQNUM,8,ZD))
  // 将表头行（序列号=1）保存到临时数据集
  OUTFIL FNAMES=SAVEHEADER,INCLUDE=(81,8,ZD,EQ,1),OUTREC=(1:1,80)
  // 按10MB拆分数据，每个输出文件自动插入表头
  OUTFIL FNAMES=OUT*,
         SPLIT=10M,
         INCLUDE=(81,8,ZD,GT,1),  // 排除原输入的表头行
         HEADER1=(01:1,80)         // 插入保存的表头至每个文件开头
/*
//SAVEHEADER DD DSN=&TMPHEADER,UNIT=SYSDA,SPACE=(TRK,(1,1)),DISP=(,PASS)
//OUT1      DD DSN=YOUR.OUTPUT.FILE1,UNIT=SYSDA,SPACE=(CYL,(5,5)),DISP=(NEW,CATLG)
//OUT2      DD DSN=YOUR.OUTPUT.FILE2,UNIT=SYSDA,SPACE=(CYL,(5,5)),DISP=(NEW,CATLG)
//OUT3      DD DSN=YOUR.OUTPUT.FILE3,UNIT=SYSDA,SPACE=(CYL,(5,5)),DISP=(NEW,CATLG)
//OUT4      DD DSN=YOUR.OUTPUT.FILE4,UNIT=SYSDA,SPACE=(CYL,(5,5)),DISP=(NEW,CATLG)

适配调整说明 #

• 如果表头不是第一行，而是有特定标识（比如以HD开头），将INCLUDE=(81,8,ZD,EQ,1)改为INCLUDE=(1,2,CH,EQ,C'HD')，对应的INCLUDE=(81,8,ZD,GT,1)改为INCLUDE=(1,2,CH,NE,C'HD')。
• SPLIT=10M指定每个输出文件最大10MB，DFSORT会自动将超出部分写入下一个OUT*数据集。
• 提前定义足够数量的OUTx数据集，数量建议略大于预估的拆分份数（比如42MB文件准备4-5个）。

二、其他可行实现思路 #

1. COBOL程序实现 #

逻辑直观，适合熟悉COBOL的用户：

• 第一步：读取输入文件的表头行并存储到变量。
• 第二步：初始化第一个输出文件，写入表头。
• 第三步：循环读取输入数据行，累计写入字节数；当累计量超过10MB时，切换到新的输出文件，先写入表头再继续写数据。

2. 改进REXX程序 #

如果坚持用REXX，可按以下逻辑编写：

/* REXX 大文件拆分脚本 */
/* 分配输入文件 */
"ALLOC FI(INFILE) DA('YOUR.INPUT.FILE') SHR REUSE"

/* 获取输入文件属性，计算拆分份数 */
"LISTDSI 'YOUR.INPUT.FILE'"
TOTAL_BYTES = &LRECL * &NRECS
SPLIT_SIZE = 10 * 1024 * 1024  // 10MB字节数
SPLIT_COUNT = (TOTAL_BYTES + SPLIT_SIZE - 1) % SPLIT_SIZE

/* 读取表头行 */
"EXECIO 1 DISKR INFILE (STEM HEAD. FINIS"
HEAD_LINE = HEAD.1

/* 初始化第一个输出文件 */
OUT_NUM = 1
"ALLOC FI(OUTFILE) DA('YOUR.OUTPUT.FILE"OUT_NUM"') NEW CATLG SPACE=(CYL,(5,5))"
"EXECIO 1 DISKW OUTFILE (STEM HEAD. FINIS"

CURRENT_BYTES = 0
DO WHILE RC = 0
  /* 批量读取1000条数据，提升效率 */
  "EXECIO 1000 DISKR INFILE (STEM DATA. FINIS"
  IF RC <> 0 THEN LEAVE
  
  DO I = 1 TO DATA.0
    REC_LEN = LENGTH(DATA.I)
    CURRENT_BYTES = CURRENT_BYTES + REC_LEN
    
    /* 超过10MB则切换输出文件 */
    IF CURRENT_BYTES > SPLIT_SIZE THEN
      DO
        "FREE FI(OUTFILE)"
        OUT_NUM = OUT_NUM + 1
        "ALLOC FI(OUTFILE) DA('YOUR.OUTPUT.FILE"OUT_NUM"') NEW CATLG SPACE=(CYL,(5,5))"
        "EXECIO 1 DISKW OUTFILE (STEM HEAD. FINIS"
        CURRENT_BYTES = REC_LEN
      END
    
    /* 写入当前数据行 */
    "EXECIO 1 DISKW OUTFILE (STEM DATA.I. FINIS"
  END
END

/* 释放文件资源 */
"FREE FI(INFILE)"
"FREE FI(OUTFILE)"
EXIT

三、着手建议 #

1. 优先尝试DFSORT方案：无需编写代码，仅需调整控制卡，是z/OS环境下最高效的方案。
2. 小文件测试先行：先用几十KB的测试文件验证拆分逻辑，确保表头正确复制、数据拆分无误后再处理大文件。
3. REXX入门：如果想继续用REXX，先掌握ALLOC/FREE文件分配、EXECIO读写、LISTDSI获取属性这些基础操作，从实现单文件表头复制开始逐步扩展。

内容的提问来源于stack exchange，提问作者Daniel Christian