PROC SORT执行成功但合并时提示BY变量未正确排序的问题

核心问题分析 #

你遇到的情况是：对cartemp数据集按phys_id执行PROC SORT后日志显示成功，但后续MERGE步骤却提示BY变量未正确排序，且FORCE选项无效。以下是具体原因及解决办法：

1. 线程排序导致SAS内部排序标记丢失 #

日志中明确显示NOTE: 使用了SAS线程排序。，SAS的线程排序在处理超大规模数据集（3.4亿条观测）时，可能无法正确更新数据集的内部排序元数据标记。虽然实际数据已经按phys_id排序，但SAS无法识别该标记，因此在MERGE时判定数据集未排序。

2. 同名数据集覆盖的时序冲突 #

合并步骤中直接使用data cartemp;覆盖原排序后的数据集，在多线程IO环境下，可能出现排序后的数据集尚未完全写入磁盘，合并步骤就开始读取的情况，导致读取到未完全排序的旧数据片段。

3. BY变量存在隐性不一致 #

• 可能存在不可见字符（如空格、控制字符）：即使phys_id的显示值正常，内部可能包含无法肉眼识别的字符，导致排序逻辑异常。
• 变量属性不匹配：需确认cartemp和carrier_docs中的phys_id变量类型（字符/数值）、长度、编码完全一致，否则会导致排序规则不统一。

对应解决办法 #

方法1：关闭线程排序，确保排序标记正确写入 #

在PROC SORT中添加NOTHREADS选项，强制使用单线程排序，让SAS正确生成排序元数据：

proc sort data=cartemp FORCE SORTSIZE=MAX NOTHREADS;
  by phys_id;
run;

方法2：避免覆盖原排序数据集 #

将排序结果输出到新的临时数据集，再用该数据集执行合并，彻底避免覆盖带来的时序问题：

proc sort data=cartemp FORCE SORTSIZE=MAX;
  by phys_id;
  out=cartemp_sorted; /* 输出到独立数据集 */
run;

data cartemp;
  merge cartemp_sorted (in=clm) carrier_docs (in=specs keep=phys_id spec_overall);
  by phys_id;
  if clm;
  drop phys_id preferred_id;
run;

方法3：验证BY变量的一致性与实际排序状态 #

检查变量属性一致性

/* 检查cartemp的phys_id属性 */
proc contents data=cartemp varnum;
  var phys_id;
run;

/* 检查carrier_docs的phys_id属性 */
proc contents data=carrier_docs varnum;
  var phys_id;
run;

确认两个数据集的phys_id在类型、长度、编码上完全一致。

验证数据集实际排序状态

通过代码抽样检查排序后的数据集是否真的有序：

data _null_;
  set cartemp;
  by phys_id;
  /* 检测是否存在逆序的观测 */
  if not first.phys_id and phys_id < lag(phys_id) then do;
    put "发现无序观测：行号=" _n_ " 当前phys_id=" phys_id " 上一行phys_id=" lag(phys_id);
    stop;
  end;
run;

如果输出无序提示，说明实际排序确实存在问题，需排查phys_id变量本身的异常。

内容的提问来源于stack exchange，提问作者DaveK