AWS SageMaker Pipelines是否有Apache Airflow XCom等效的步间通信功能？

SageMaker Pipelines没有Airflow XCom那种无需依赖外部存储、直接在步骤间传递变量/小型数据工件的原生功能，但可以通过以下几种方式实现类似的步间数据传递需求：

1. 步骤输出参数直接引用 #

每个Pipeline步骤（比如ProcessingStep、TrainingStep）都可以暴露自身的输出属性，后续步骤可以直接引用这些属性作为输入参数。这种方式传递的是元数据引用（比如S3路径、资源ARN），适合传递配置、路径类的小型信息：

# 预处理步骤定义输出
preprocessing_step = ProcessingStep(
    name="DataPreprocessing",
    processor=sklearn_processor,
    outputs=[ProcessingOutput(output_name="train_data", source="/opt/ml/processing/train")]
)

# 训练步骤直接引用预处理步骤的输出S3路径
training_step = TrainingStep(
    name="ModelTraining",
    estimator=xgb_estimator,
    inputs={
        "train": TrainingInput(s3_data=preprocessing_step.properties.ProcessingOutputConfig.Outputs["train_data"].S3Output.S3Uri)
    }
)

2. 执行上下文变量共享 #

利用SageMaker Pipelines内置的Execution Variables，可以在所有步骤中共享当前执行的上下文信息，比如执行ID、Pipeline ARN等：

• 示例引用：{{pipeline.executionId}}、{{pipeline.pipelineName}}
• 这类变量可以直接在步骤的参数、命令中使用，无需额外传递逻辑。

3. 托管服务间接共享（特定场景） #

如果需要传递的是模型版本、特征集这类结构化元数据，可以借助SageMaker Model Registry或Feature Store：

• 将需要共享的数据存入这些托管服务，后续步骤直接从服务中读取对应条目，无需手动处理S3读写细节。

关于“无需S3”的补充 #

SageMaker Pipelines的设计逻辑是默认依赖S3作为数据流转的核心存储层。如果要传递真正的小型数据（比如字符串、数值），虽然没有内存级传递选项，但可以把数据序列化后写入S3的极小文件（比如1KB以内的JSON），后续步骤读取解析——这种方式的性能开销几乎可以忽略，是实践中最常用的替代方案。

内容的提问来源于stack exchange，提问作者Shlomi Schwartz