在Vertex AI中使用微调后的gemini-1.0-pro-002模型时遇Null错误求助

问题描述 #

已使用基础日志数据完成Gemini-1.0-pro-002模型的微调，但调用该模型查询时出现Null错误。微调使用的JSONL数据结构示例如下：

{"messages": [{"role": "system", "content": "you should give the detailed explanation of the logs"}, {"role": "user", "content": "2017-11-29 19:22:31,581 [main] INFO  (LoggingHelper.java:23) - This is info  log ...
 2017-11-29 19:22:31,581 [main] WARN  (LoggingHelper.java:26) - This is warn log ...
 2017-11-29 19:22:31,581 [main] ERROR (LoggingHelper.java:27) - This is error log... 
 2017-11-29 19:22:31,582 [main] FATAL (LoggingHelper.java:28) - This is fatal log ...
 2017-11-29 19:23:44,026 [main] DEBUG (LoggingHelper.java:19) - This is debug log..
 2017-11-29 19:23:44,028 [main] INFO  (LoggingHelper.java:23) - This is info  log ...
 2017-11-29 19:23:44,028 [main] WARN  (LoggingHelper.java:26) - This is warn log ...
 2017-11-29 19:23:44,028 [main] ERROR (LoggingHelper.java:27) - This is error log... 
 2017-11-29 19:25:15,181 [main] ERROR (LogginHelperOps.java:15) - Sorry, something wrong in your calculation!
 java.lang.ArithmeticException: / by zero
   at com.itos.LogginHelperOps.divide(LogginHelperOps.java:23)
   at com.itos.LogginHelperOps.main(LogginHelperOps.java:13)
 2017-11-29 19:23:44,028 [main] INFO  (LoggingHelper.java:23) - This is info  log ...
 2017-11-29 19:23:44,028 [main] INFO  (LoggingHelper.java:23) - This is info  log ...
 2017-11-29 19:23:44,028 [main] INFO  (LoggingHelper.java:23) - This is info  log ...
 2017-11-29 19:23:44,028 [main] INFO  (LoggingHelper.java:23) - This is info  log ..."}, {"role": "model", "content": "#code#: LogginHelperOps.java:15
#dbtables#:projectx_maths
 #solution#: The value should not be less than 1 for height column in projectx_maths table "}]}

可能的原因及解决方法 #

• 训练数据格式问题：检查JSONL文件是否存在语法错误，比如未闭合的引号、换行符处理不当。批量数据中可能存在个别条目格式异常，导致模型学习到无效模式，推理时返回Null。可通过JSON校验工具批量检查所有训练样本。
• 输出格式约束冲突：微调时系统提示要求给出日志详细解释，但训练样本中模型输出是#code#/#dbtables#/#solution#的结构化格式，推理时若提示词未明确匹配该结构，模型可能无法生成有效输出。调整推理提示词，明确要求沿用训练时的结构化输出格式。
• 训练数据质量不足：若训练样本数量过少或样本的输入输出对应关系模糊，模型未充分学习到日志分析的规律，推理时无法生成有效结果。补充更多多样化的日志样本，确保每个样本的问题与解决方案对应明确。
• 推理参数设置不当：检查调用模型时的参数，比如temperature过高会导致输出不稳定，max_output_tokens过小会限制输出内容。尝试设置temperature=0.2、max_output_tokens=1024等保守参数测试。
• 微调任务类型不匹配：确认微调时选择的任务类型为对话式微调（Chat Fine-tuning），Gemini模型对任务类型有明确要求，任务类型不匹配会导致模型无法正常生成对话输出。

内容的提问来源于stack exchange，提问作者vishnumanohar