Azure ML训练会话预算管控：设置、超限暂停及续训的API/SDK方案问询

一、为训练会话设置预算并超支暂停的方法 #

• 利用工作区级成本预算：在Azure门户的ML工作区中，通过成本管理模块设置预算阈值，配置消耗接近阈值时的警报。若要实现自动暂停训练，需结合自动化脚本（如Azure Functions），在触发警报时调用Azure ML作业终止接口。
• 作业级自定义监控：提交训练作业前，通过SDK预设预算X美元。作业运行期间，定期调用成本管理API获取该作业的累计消耗，当消耗达到X美元时，调用作业暂停接口终止训练进程。

二、指定预算管控场景的实现（超支暂停后需提升预算才恢复） #

该场景需通过自定义流程实现，步骤如下：

1. 训练准备阶段：通过SDK或REST API定义作业的预算阈值X美元，同时部署一个监控进程（如Azure Functions定时触发器），持续查询作业的实时消耗。
2. 超支暂停逻辑：当检测到作业消耗超过X美元时，立即调用Azure ML作业暂停接口终止训练，并将作业状态标记为“预算超支暂停”。
3. 预算提升后的恢复：当预算调整至X+Y美元后，可通过手动触发或自动化事件（如检测到预算更新），调用作业恢复接口（若作业支持断点续训）从checkpoint处恢复训练；若作业不支持断点续训，则基于之前保存的checkpoint重新提交训练作业。

三、原生REST API与SDK支持 #

SDK支持 #

• Azure ML Python SDK v2提供完整的作业管控能力：
  • 使用MLClient类的jobs.create_or_update()提交训练作业，jobs.cancel()暂停作业，部分支持断点续训的作业可通过jobs.restart()恢复。
  • 结合azure-mgmt-costmanagement SDK，可查询指定作业对应的资源消耗成本，用于预算监控。

REST API支持 #

• 作业管控端点：https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.MachineLearningServices/workspaces/{workspaceName}/jobs/{jobName}，支持创建、更新、暂停（DELETE请求或PATCH修改状态）等操作。
• 成本查询端点：https://management.azure.com/subscriptions/{subscriptionId}/providers/Microsoft.CostManagement/query，通过构造查询参数可获取特定训练作业的累计消耗数据。

内容的提问来源于stack exchange，提问作者Onki