基于曼联2021/22赛季数据微调LLM的技术方案问询

一、目标 #

计划基于曼联2021/22赛季（表现不佳）的数据集微调预训练LLM，使其能针对“曼联如何改进？”“曼联最大弱点是什么？”等问题生成100词以上、有见解且符合逻辑的回答。

二、数据结构选择疑问 #

将使用对应赛季维基百科页面的文本作为数据，纠结应采用问答对字典列表、长文本上下文还是两者结合的结构。

三、已完成实验情况 #

已使用Hugging Face Transformers库的Google T5系列模型（如t5-base）开展实验，目前仅用30组问答对进行微调，效果未达预期。示例问答对如下：

{"question": "How could Manchester United improve their consistency in the Premier League next season?", "answer": " To improve consistency, Manchester United could focus on strengthening their squad depth to cope with injuries and fatigue throughout the season. Tactical adjustments could also be explored to deal with teams of different strengths and styles."}

四、核心疑问 #

• 除扩大数据集外，当前仅依赖问答对微调的方法是否具备逻辑合理性？
• 针对该类任务，微调预训练LLM所需的最小问答对数量是多少？

（注：暂不考虑超参数调优，重点聚焦方法的逻辑性。）

内容的提问来源于stack exchange，提问作者Tom Bomer