模型精调数据集格式说明

当前模型精调数据集支持jsonl格式，以下为详细格式说明：

注：仅Pretrain模型（预训练模型）支持上传未标注文本数据进行Continue Pretraining（继续预训练）；非Pretrain模型请使用已标注文本数据。

JSONL

格式说明：

{"messages": [{"role": "user", "content": "孤灯照不寐，风雨满西林。下一句是？"}, {"role": "assistant", "content": "多少关心事，书灰到夜深。"}]}
{"messages": [{"role": "system", "content": "请根据古诗内容，仅回复作者的名字。"}, {"role": "user", "content": "孤灯照不寐，风雨满西林。多少关心事，书灰到夜深。"}, {"role": "assistant", "content": "李群玉"}]}

JSONL

格式说明：

{"text":"火山引擎机器学习平台是面向机器学习应用开发者，提供【开发机】和【自定义训练】等丰富建模工具、多框架高性能模型推理服务的企业级开发平台，支持从数据托管、代码开发、模型训练、模型部署的全生命周期工作流。"}
{"text":"支持运行超大规模的分布式任务，包含多种预置算法框架和自定义算法框架。提供稳定、灵活、高性能的机器学习训练环境。"}
{"text":"支持多种框架的模型在异构硬件上的一键部署，具有高吞吐、低延时、实时扩缩容等特点，使推理服务更具弹性和容错性。"}

注：

1. 每行一个json对象，包含一个text字段，text字段内容是一个字符串文本
2. 不限制text长度，text会被根据模型最大能支持的token拆成多个样本，因此样本总数可能会超过数据的行数。