DataStage Sort Stage中cluster key change与key change的区别及应用

1. 适用场景区分 #

• clusterKeyChange
  仅在排序键模式设置为Don't Sort (Previously Sorted)或Don't Sort (Previously Grouped)时生效，默认关闭。适合你已经明确输入数据是预先按固定聚类规则分组/排序完成的场景：

  • 比如上游流程已经将同客户、同部门的记录聚合在一起，你只需要快速标记每个聚类组的起始记录，用于后续分组统计（如提取每组第一条记录的基础信息、触发组内初始化逻辑）。
  • 它依赖预分组的前提，不会重新判断键值变化，只是按现有分组标记起始。

• KeyChange
  适用于所有DataStage类型的排序模式，默认关闭。适合需要动态识别排序键值切换的场景：

  • 不管输入数据是否预先排序，只要排序键的组合值发生变化，就会标记新分组的起始记录。
  • 比如排序后需要每遇到不同的产品ID就触发一次汇总计算，或者需要区分连续相同键值的记录段，这种场景下用KeyChange更灵活。

2. 输出结果示例 #

假设输入数据如下，排序键设为客户ID：

启用clusterKeyChange（排序模式设为Don't Sort (Previously Grouped)） #

输出新增clusterKeyChange列，每个预定义分组的第一条记录值为1，其余为0：

启用KeyChange（任意DataStage排序模式均可） #

输出新增KeyChange列，只要排序键（这里是客户ID）的取值发生变化，新分组的第一条记录值为1，其余为0：

如果排序键是多字段组合（比如客户ID+订单类型），KeyChange会在整个排序键的组合值发生变化时触发标记：
输入已排序数据：

启用KeyChange后的输出：

而如果用clusterKeyChange，标记逻辑完全依赖上游的预分组规则：如果上游是按客户ID聚类，那A001的所有记录会被视为一个组，只有第一条标1；如果上游是按客户ID+订单类型聚类，那每个子组的第一条记录才会标1。

内容的提问来源于stack exchange，提问作者Anna