Spacy NER训练日志列含义、SCORE公式及相关文档咨询

训练日志输出 #

E    #       LOSS TOK2VEC  LOSS NER  ENTS_F  ENTS_P  ENTS_R  SCORE 
---  ------  ------------  --------  ------  ------  ------  ------
  0       0          0.00     78.11   26.82   22.88   32.41    0.27
 26     200         82.40   3935.97   94.44   94.44   94.44    0.94
 59     400         50.37   2338.60   94.91   94.91   94.91    0.95
 98     600         66.31   2646.82   92.13   92.13   92.13    0.92
146     800         85.11   3097.20   94.91   94.91   94.91    0.95
205    1000         92.20   3472.80   94.91   94.91   94.91    0.95
271    1200        124.10   3604.98   94.91   94.91   94.91    0.95

问题解答 #

1. SCORE的计算公式
   SCORE是ENTS_F（F1分数）的归一化结果，公式为：
   SCORE = (2 * ENTS_P * ENTS_R) / (ENTS_P + ENTS_R) / 100
   从日志数值可验证：比如第一行ENTS_F=26.82对应SCORE=0.27（四舍五入），后续ENTS_F=94.91对应SCORE=0.95，完全匹配。

2. 日志列的官方文档位置
   这些日志列的详细说明可在SpaCy官方的训练CLI文档和模型评估文档中找到，重点查看spacy train命令的输出解释，以及NER任务的评估指标章节。

3. #和E列的含义

• #列：代表参数更新步数，即模型完成的参数更新次数，每处理一批训练数据会执行一次参数更新。
• E列：代表训练轮次，即整个训练数据集被完整遍历的次数。

内容的提问来源于stack exchange，提问作者SteveS