Kaggle双T4 GPU训练QLoRA+FSDP2时出现CUDA设备重复绑定错误

一、修复“Duplicate GPU detected”错误 #

该问题核心是多进程未正确绑定到不同GPU，按以下步骤调整：

• 动态绑定GPU设备：必须通过环境变量LOCAL_RANK分配设备，禁止手动指定固定CUDA编号。在脚本开头添加：

import os
import torch
local_rank = int(os.environ["LOCAL_RANK"])
torch.cuda.set_device(local_rank)
device = torch.device(f"cuda:{local_rank}")

• 调整FSDP2初始化顺序：FSDP2会自动管理设备分配，手动提前将模型移到GPU会导致冲突。正确流程：
  1. 在CPU上初始化基础模型（节省GPU内存）
  2. 应用QLoRA配置
  3. 用FSDP2包装模型，由FSDP自动分配到对应GPU
     示例代码：

from peft import get_peft_model, LoraConfig
from transformers import AutoModelForCausalLM
from torch.distributed.fsdp import FSDP, FSDPConfig, ShardingStrategy
from torch.distributed.fsdp.wrap import transformer_auto_wrap_policy

# CPU初始化模型
model = AutoModelForCausalLM.from_pretrained(
    "your-model-name",
    torch_dtype=torch.bfloat16,
    device_map="cpu"
)

# 配置QLoRA
lora_config = LoraConfig(
    r=8,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)
model = get_peft_model(model, lora_config)

# FSDP2配置
fsdp_config = FSDPConfig(
    auto_wrap_policy=transformer_auto_wrap_policy(model),
    sharding_strategy=ShardingStrategy.FULL_SHARD,
    device_id=local_rank,
    limit_all_gathers=True
)

# 用FSDP包装模型，自动分配到对应GPU
model = FSDP(model, fsdp_config=fsdp_config)

• 正确启动训练：在Kaggle中用torchrun启动多卡任务，自动设置多进程环境变量：

!torchrun --nproc_per_node=2 your_training_script.py

二、解决CUDA内存不足问题 #

结合T4 GPU特性，从以下方向优化：

• 启用bfloat16混合精度：T4原生支持bfloat16，比float16更省内存且精度损失更低，初始化模型时指定torch_dtype=torch.bfloat16，训练时开启torch.cuda.amp.autocast()。

• 优化FSDP参数：设置limit_all_gathers=True，减少跨卡通信时的临时内存占用；选择FULL_SHARD分片策略，将模型参数分片到所有GPU。

• 精简QLoRA配置：减小低秩维度r（比如从16降到8），仅在关键注意力层（q_proj、v_proj）应用LoRA，减少可训练参数总量。

• 调整训练批次：降低单步per_device_train_batch_size，同时设置gradient_accumulation_steps等效增大训练批次，平衡内存占用和训练效果。

内容的提问来源于stack exchange，提问作者Arush Sharma