Decoder-only架构用于代码作者识别嵌入生成的可行性及实现咨询

核心结论 #

Mistral这类Decoder-only架构的大语言模型完全可以适配你的代码作者识别任务，核心是从Decoder模型中提取能表征代码风格与语义的固定维度嵌入向量，再复用你现有的孪生网络对比学习+嵌入匹配流程。

具体实现步骤 #

1. 确定嵌入提取方式 #

Decoder模型没有Encoder专属的[CLS] token，可通过以下两种可靠方式提取代码嵌入：

• 最后一层结束符token的隐藏状态：用代码输入末尾的</s>（Mistral的标准结束符）对应的最后一层网络输出向量，该向量能聚合整个代码序列的语义和风格特征；
• 全局池化后的隐藏状态：对模型最后一层所有token的输出做均值或最大值池化，得到全局表征向量，避免单token特征的偶然性，提升稳定性。

2. 适配孪生网络训练流程 #

直接复用你现有的孪生网络框架，仅替换嵌入提取模块：

• 样本对构造：保持原有的「同一作者代码对（正样本）」「不同作者代码对（负样本）」构造逻辑；
• 对比损失计算：将Mistral提取的两个代码嵌入向量，代入你原有的对比损失函数（如InfoNCE），最大化正样本对的相似度、最小化负样本对的相似度；
• 高效微调策略：由于Mistral参数量较大，推荐使用LoRA微调，仅更新注意力层的低秩矩阵，既减少资源消耗，又保留模型的通用代码理解能力。

3. 推理阶段的嵌入匹配 #

微调完成后，推理流程与你原有的Encoder方案基本一致：

• 构建作者基准嵌入库：对每个作者的已知代码样本，用微调后的Mistral提取嵌入，取均值作为该作者的特征向量；
• 未知代码归属判定：提取未知代码的嵌入向量，与基准库中所有作者的特征向量计算余弦相似度，取相似度最高的作者作为判定结果。

关键注意事项 #

• 输入格式适配：Mistral是Decoder-only模型，输入需符合其格式要求，单代码输入建议用<s>代码内容</s>包裹，避免模型输出异常；
• 嵌入维度优化：如果Mistral原生嵌入维度（如7B模型为4096维）过高，可在提取后添加一层线性层降维至合适大小（如512维），降低后续匹配的计算成本；
• 模型版本选择：优先选用针对代码微调的Mistral变体（如Mistral-Code），这类模型对代码的语义和风格表征能力更强，能进一步提升任务效果。

内容的提问来源于stack exchange，提问作者sastaengineer