如何为NLP模型实现用户级持久上下文及AI句子补全功能？

我正在开发一款新的文字处理器应用，希望了解AI和NLP在猜测用户当前输入句子结尾方面的能力。我需要AI模型能够感知已输入文本的上下文，包括其中的人物、场景及文本语气，工作模式类似GitHub Copilot——可以感知已有内容并生成合适的补全结果。

我设想了两种实现方案：

方案1：基于用户输入的模型微调 #

• 优势：具备可扩展性（可使用任意量文本训练模型），且补全结果精准
• 缺陷：
  • 微调速度较慢（并非最棘手的问题）
  • 若用户量级达数百万，需要维护数百万个不同的微调模型，当前是否有NLP引擎支持这种场景？

方案2：上下文传入Chat API补全 #

• 适用场景：短文本补全
• 不足：每次开启新对话时需重新发送上下文内容，且上下文篇幅越大，补全效果越差

同时我还想了解：在NLP AI模型中，如何为每个用户创建持久化的上下文？GitHub Copilot已实现类似功能，说明该需求具备可行性。

内容的提问来源于stack exchange，提问作者Gin Quin