Colab中使用Vertex AI运行Kubeflow Pipeline调优Gemini模型时遭遇Bison调优弃用错误

我完全理解你的困扰——明明已经指定了Gemini模型作为调优目标，却收到了关于Bison模型调优已弃用、要求迁移到Gemini的矛盾错误，这确实让人摸不着头脑。

问题根源分析 #

你当前使用的Kubeflow Pipeline模板https://us-kfp.pkg.dev/ml-pipeline/large-language-model-pipelines/tune-large-model/v2.0.0是针对旧版Bison模型设计的调优流水线，它的底层逻辑并没有适配Gemini模型的调优流程。即使你在参数中传入了Gemini的模型标识，这个旧模板仍会尝试调用已弃用的Bison调优接口，因此才会抛出这个看似矛盾的错误提示。

具体解决方案 #

下面是帮你解决问题的分步操作：

• 更换为Gemini专属的调优Pipeline模板
  Google官方已经推出了专门适配Gemini模型的调优流水线模板，你需要将template_path替换为对应的最新版本路径。例如，使用针对Gemini 1.0系列模型的调优模板：

  # 替换为Gemini专属的调优流水线模板（请确认版本为当前最新）
  template_path = "https://us-kfp.pkg.dev/ml-pipeline/large-language-model-pipelines/tune-gemini-model/v1.0.0"
  

  如果你偏好使用通用大模型调优模板的最新版本，也可以升级到v3.0.0及以上的tune-large-model模板，这些新版本已经支持Gemini模型的调优流程：

  template_path = "https://us-kfp.pkg.dev/ml-pipeline/large-language-model-pipelines/tune-large-model/v3.0.0"
  

• 更新Vertex AI SDK版本
  确保你在Colab中使用的google-cloud-aiplatform是最新版本，避免SDK与新模板之间出现兼容问题：

  !pip install --upgrade google-cloud-aiplatform
  

• 验证流水线参数的兼容性
  部分Gemini专属模板可能会对参数有细微调整，你需要确认pipeline_arguments中的参数名和取值是否匹配新模板的要求：

  • 确认large_model_reference的取值为模板支持的Gemini模型标识（比如gemini-1.0-pro-002是合规的）
  • 检查是否需要新增Gemini专属的调优参数（比如部分模板可能要求指定model_version或调优策略参数）

修改后的完整代码示例 #

# 先升级SDK（Colab中执行）
!pip install --upgrade google-cloud-aiplatform

import datetime
import google.cloud.aiplatform as aiplatform

# （假设你已定义好所有全局变量：REGION, PROJECT_ID, TRAINING_STEPS等）

# Get the current date for model naming
date = datetime.datetime.now().strftime("%Y-%m-%d")
MODEL_NAME = f"qa-model-{date}"

# Pipeline arguments
pipeline_arguments = {
    "model_display_name": MODEL_NAME,
    "location": REGION,
    "project": PROJECT_ID,
    "large_model_reference": "gemini-1.0-pro-002",  # Model reference for question answering
    "train_steps": TRAINING_STEPS,
    "dataset_uri": TRAINING_DATA_URI,
    "evaluation_interval": EVALUATION_INTERVAL,
    "evaluation_data_uri": EVALUATION_DATA_URI,
}

# 更换为支持Gemini的最新Pipeline模板
template_path = "https://us-kfp.pkg.dev/ml-pipeline/large-language-model-pipelines/tune-gemini-model/v1.0.0"

# Create a pipeline job for fine-tuning the model
job = aiplatform.PipelineJob(
    template_path=template_path,
    display_name="fine-tune-gemini-qa",
    parameter_values=pipeline_arguments,
    location=REGION,
    pipeline_root="gs://zeinab-llmops-vertexai/pipeline_root",  # GCS path for storing pipeline artifacts
    enable_caching=True
)

# Submit the pipeline job
job.submit()

额外注意事项 #

• 确认你的GCS pipeline_root路径的权限设置正确，Vertex AI的服务账号需要拥有该路径的读写权限
• 检查训练/评估数据集的格式是否符合Gemini调优的要求（比如是否为JSONL格式、数据结构是否匹配模板的预期规范）

完成以上调整后，重新提交流水线任务，应该就能正常触发Gemini模型的调优流程，不会再出现关于Bison的弃用错误了。

备注：内容来源于stack exchange，提问作者Zeinab Ganjei