如何在SPSS中通过语法调用第二数据集补全缺失时间点数据？

我有表A，包含ID和不同时间点的行数据，部分ID因事件未发生或不符合条件缺失了部分时间点记录。需要为每个ID补充缺失时间点的行，并填充指定错误代码。另外有表B，包含对应ID缺失时间点的错误代码。目标是把表B指定错误代码的行追加到表A中，避免手动创建行和填充信息。

示例数据 #

表A #

表B（缺失原因） #

期望结果表C #

我尝试的SPSS语法（无法正常运行） #

SORT CASES BY SubjectID AssessmentPeriod.

* Match TableCBase with TableB to identify missing combinations.
MATCH FILES /FILE=*
  /TABLE=TableB
  /BY ID timepoint.

* Create new rows in TableCBase for missing combinations with specific error codes.
IF $CASENUM = 0.
  DO REPEAT #i = value1 value2 value3 / #r = whyMissing whyMissing whyMissing.
    COMPUTE #i = #r.
  END REPEAT.
  DATASET NAME TableBError.
END IF.

* Combine the modified TableCBase with TableA.
MATCH FILES /FILE=*
  /TABLE=TableCBase
  /BY ID timepoint.

* Sort the final table.
SORT CASES BY ID timepoint.

我的Python实现方案 #

# 更新数据列，填充缺失码
data_columns = [f'Value{i}' for i in range(1, 5)]  # 根据实际列数调整

# 从表A获取所有唯一ID和时间点
all_subjects = table_a['subjectID'].unique()
all_periods = table_a['AssessmentPeriod'].unique()

# 创建包含所有ID-时间点组合的主数据框
master_df = pd.DataFrame([(subject, period) for subject in all_subjects for period in all_periods],
                         columns=['subjectID', 'AssessmentPeriod'])

# 合并表B获取缺失码
table_c_base = pd.merge(master_df, table_b, on=['subjectID', 'AssessmentPeriod'], how='left', suffixes=('_B', ''))

# 合并表A获取实际数据值
table_c_base = pd.merge(table_c_base, table_a, on=['subjectID', 'AssessmentPeriod'], how='left', suffixes=('_B', '_A'))

# 填充缺失值
table_c_base['Value1'] = table_c_base['value1'].fillna(table_c_base['whyMissing'])
table_c_base['Value2'] = table_c_base['Value2'].fillna(table_c_base['whyMissing'])
table_c_base['Value3'] = table_c_base['Value3'].fillna(table_c_base['whyMissing'])

# 删除全空列
table_c_base = table_c_base.dropna(axis=1, how='all')

正确的SPSS语法实现步骤 #

要实现需求，需先构建所有ID-时间点的完整组合，再匹配表A、表B的数据，最后批量填充错误代码。具体语法如下：

步骤1：生成完整的ID-时间点组合数据集 #

* 提取表A中所有唯一ID和时间点
DATASET COPY IDs.
DATASET ACTIVATE IDs.
AGGREGATE
  /OUTFILE=* MODE=ADDVARIABLES
  /BREAK=
  /all_IDs=COLLECT(ID).
STRING all_IDs_str (A200).
COMPUTE all_IDs_str = CONCAT(all_IDs).
WRITE OUTFILE='temp_ids.txt' /all_IDs_str.
EXECUTE.
DATASET CLOSE IDs.

DATASET COPY Timepoints.
DATASET ACTIVATE Timepoints.
AGGREGATE
  /OUTFILE=* MODE=ADDVARIABLES
  /BREAK=
  /all_TPs=COLLECT(timepoint).
STRING all_TPs_str (A200).
COMPUTE all_TPs_str = CONCAT(all_TPs).
WRITE OUTFILE='temp_tps.txt' /all_TPs_str.
EXECUTE.
DATASET CLOSE Timepoints.

* 创建所有ID与时间点的笛卡尔积组合
INPUT PROGRAM.
  FILE HANDLE ids_file /NAME='temp_ids.txt'.
  FILE HANDLE tps_file /NAME='temp_tps.txt'.
  DATA LIST FILE=ids_file /all_IDs_str A200.
  DATA LIST FILE=tps_file /all_TPs_str A200.
  DO REPEAT ID = !SPLIT(all_IDs_str, ' ').
    DO REPEAT timepoint = !SPLIT(all_TPs_str, ' ').
      COMPUTE ID = NUMBER(ID, F8.0).
      COMPUTE timepoint = NUMBER(timepoint, F8.0).
      END CASE.
    END REPEAT.
  END REPEAT.
END INPUT PROGRAM.
DATASET NAME FullCombos.
EXECUTE.

步骤2：合并数据并填充错误代码 #

* 匹配表A的现有数据到完整组合
DATASET ACTIVATE FullCombos.
MATCH FILES /FILE=*
  /TABLE=表A
  /BY ID timepoint.
DATASET NAME Merged.

* 匹配表B的缺失错误码
MATCH FILES /FILE=Merged
  /TABLE=表B
  /BY ID timepoint.

* 批量将value列的缺失值替换为对应错误码
DO REPEAT val = value1 value2 value3.
  IF MISSING(val) val = whyMissing.
END REPEAT.

* 可选：删除多余的whyMissing列
DELETE VARIABLES whyMissing.

* 排序最终结果
SORT CASES BY ID timepoint.
DATASET NAME 表C.
EXECUTE.

* 清理临时文件
ERASE FILE='temp_ids.txt'.
ERASE FILE='temp_tps.txt'.

语法说明 #

1. 构建完整组合：先提取表A中所有唯一的ID和时间点，通过INPUT PROGRAM生成所有可能的ID-时间点组合，确保没有遗漏。
2. 匹配数据：用MATCH FILES将表A的现有数据、表B的错误码依次匹配到完整组合中。
3. 批量填充：通过DO REPEAT批量处理所有value列，自动将缺失值替换为对应的错误码。
4. 清理临时文件：删除生成的临时文本文件，保持工作环境整洁。

内容的提问来源于stack exchange，提问作者zob