如何无监督微调Code LLM？以自定义代码库代码总结任务为例

可以通过无监督方式微调Code LLM来优化无注释自定义代码库的代码总结效果，你提到的方案3是生产环境中更具可行性的落地路径。

代码数据准备步骤 #

• 筛选有效代码片段：从自定义代码库中提取结构完整的类、函数定义，剔除测试用例、临时调试代码、冗余注释等无价值内容，保证训练数据的质量
• 制定针对性掩码策略：聚焦代码的核心逻辑片段进行掩码，比如函数的返回语句、属性访问逻辑、核心计算代码等；避免掩码语法结构（如缩进、括号），确保输入代码仍具备可解析的语法框架
• 构建训练样本对：将掩码后的完整代码作为模型输入，被掩码的原始代码片段作为对应输出，形成标准的训练样本。例如你给出的示例：
  输入：

  class Label:
  def __init__(self, text, font):
  self._text = text
  self._font = font
  
  def get_text(self):
      |<mask>|
  
  def set_text(self, value):
      self._text = value
  

  输出：

  return self._text
  

方案3的有效性说明 #

你基于CodeT5+的尝试方向是正确的，这种掩码预测的无监督微调方式，能让模型学习到自定义代码库的内部逻辑模式、命名习惯和代码结构，结合预训练阶段积累的通用代码理解能力，逐步提升对无注释代码的总结准确性，弥补现有预训练模型在特定代码库上的适配不足。

内容的提问来源于stack exchange，提问作者Maximos