Ray Tune是否支持为不同任务分别分配CPU与GPU资源？

基础问题答复 #

Ray完全支持CPU、GPU两类资源的独立分配，你可以给不同任务、不同Tune trial配置完全独立的CPU/GPU资源配额，两类资源的调度互不干扰。

普通Ray任务的资源分配方法 #

如果是独立的Ray异步任务，直接在@ray.remote装饰器中指定对应资源即可，示例：

# 仅占用1核CPU的任务
@ray.remote(num_cpus=1)
def run_cpu_task():
    # 任务逻辑，不会占用GPU配额
    pass

# 占用1核CPU+1块GPU的任务
@ray.remote(num_cpus=1, num_gpus=1)
def run_gpu_task():
    # 任务逻辑，会占用对应GPU配额
    pass

调度时Ray会自动根据任务的资源要求匹配空闲资源，CPU任务永远不会占用GPU资源额度。

Ray Tune场景的解决方案 #

你当前的问题是使用了全局的resources_per_trial配置，导致所有trial都要求1块GPU，自然只能同时跑1个任务。如果需要区分GPU trial和CPU trial，有两种成熟方案：

方案1：给不同训练逻辑绑定独立资源 #

如果你的GPU任务和CPU任务是两套独立的训练逻辑，可以用tune.with_resources分别包装后传入Tune：

from ray import tune

# CPU版训练逻辑
def cpu_trainer(config):
    # CPU训练代码，不调用GPU
    pass

# GPU版训练逻辑
def gpu_trainer(config):
    # GPU训练代码
    pass

# 分别绑定资源配额
cpu_trainable = tune.with_resources(cpu_trainer, {"cpu": 1, "gpu": 0})
gpu_trainable = tune.with_resources(gpu_trainer, {"cpu": 1, "gpu": 1})

tune.run(
    tune.choice([cpu_trainable, gpu_trainable]), # 按你需要的比例选择trial类型
    num_samples=32,
    # 不需要再填全局resources_per_trial参数
    # 其余配置项
)

方案2：动态资源分配（适配同一份训练逻辑） #

如果GPU/CPU任务用的是同一份训练逻辑，只是通过参数控制是否用GPU，可以用PlacementGroupFactory实现动态资源分配：

from ray import tune
from ray.tune import PlacementGroupFactory

def trainer_fn(config):
    if config["use_gpu"]:
        # 走GPU训练逻辑
    else:
        # 走CPU训练逻辑

# 自定义资源分配函数，根据trial的配置返回对应资源要求
def get_trial_resources(config):
    if config["use_gpu"]:
        return PlacementGroupFactory([{"cpu": 1, "gpu": 1}])
    else:
        return PlacementGroupFactory([{"cpu": 1, "gpu": 0}])

tune.run(
    trainer_fn,
    num_samples=32,
    resources_per_trial=get_trial_resources,
    config={
        "use_gpu": tune.grid_search([True, False]) # 按你的需求设置use_gpu的取值逻辑
        # 其余配置项
    }
)

补充说明 #

你之前了解的小于1的GPU配额配置（比如0.1GPU）是Ray的GPU超额订阅机制，只要多个GPU任务的总显存占用不超过显卡实际显存，就可以正常使用，这个机制和上述CPU/GPU独立分配逻辑完全兼容，你可以按需给GPU trial设置对应的GPU配额，进一步提升显卡利用率。
另外注意Ray的标准资源键为小写的cpu和gpu，建议你修改原有代码中的大写键，避免资源识别异常。

内容的提问来源于stack exchange，提问作者Douglas C Vasconcelos