能否用Vertex Prompt Optimiser优化带Grounding的Gemini提示词？

目前官方Vertex Prompt Optimiser暂不支持直接结合带Grounding功能的Gemini模型进行提示词优化，你的初步判断是对的。

原因如下：

• 官方提供的配置参数仅支持以字符串形式传入原生Gemini模型标识（比如gemini-1.0-pro），没有预留配置Grounding相关功能的接口，比如无法传入图片/视频等多媒体输入、设置Grounding专属参数。
• 官方教程里的示例完全基于原生Gemini模型设计，没有适配Grounding功能的逻辑。

官方配置参数示例：

params = {
    "project": PROJECT_ID,
    "num_steps": NUM_INST_OPTIMIZATION_STEPS,
    "system_instruction": SYSTEM_INSTRUCTION,
    "prompt_template": PROMPT_TEMPLATE,
    "target_model": TARGET_MODEL,
    "target_model_qps": TARGET_MODEL_QPS,
    "target_model_location": LOCATION,
    "source_model": SOURCE_MODEL,
    "source_model_qps": SOURCE_MODEL_QPS,
    "source_model_location": LOCATION,
    "eval_qps": EVAL_QPS,
    "eval_model_location": LOCATION,
    "optimization_mode": OPTIMIZATION_MODE,
    "num_demo_set_candidates": NUM_DEMO_OPTIMIZATION_STEPS,
    "demo_set_size": NUM_DEMO_PER_PROMPT,
    "aggregation_type": METRIC_AGGREGATION_TYPE,
    "data_limit": 50,
    "num_template_eval_per_step": NUM_TEMPLATES_PER_STEP,
    "input_data_path": input_data_path,
    "output_path": output_path,
    "response_mime_type": RESPONSE_MIME_TYPE,
    "language": TARGET_LANGUAGE,
    "placeholder_to_content": json.loads(PLACEHOLDER_TO_VALUE),
}

可以试试这些替代方案：

• 拆分优化流程：先用Vertex Prompt Optimiser优化提示词里的纯文本逻辑部分，再手动把优化后的提示词和Grounding需要的多媒体输入、参数结合，拿到带Grounding的Gemini模型里测试效果。
• 自定义自动化逻辑：如果需要批量优化，可以基于Vertex Prompt Optimiser的输出，自己写脚本把优化后的提示词和Grounding输入整合，再调用带Grounding的Gemini API做评估迭代。

内容的提问来源于stack exchange，提问作者Daniel Wyatt