OpenAI GPT-3令牌对数概率与词级惊奇值：多令牌目标存在值不一致及输出缺失问题

嘿，看你现在在折腾用OpenAI的旧Completions API计算句子里的词级惊奇值对吧？先跟你对齐下这个核心概念——信息论里的惊奇值，就是一个词基于前文的条件概率的负基2对数，就像你举的例子：在句子“I take my coffee with cream and dog”里，“dog”完全不符合喝咖啡的语境，所以它的惊奇值会很高；要是换成“sugar”这种合理的搭配，惊奇值就低很多，这个逻辑没问题。

不过我猜你现在卡在多令牌目标的情况上了？比如有些词会被GPT-3拆成好几个令牌，这时候要么计算出来的惊奇值和预期对不上，要么API干脆连部分概率输出都给丢了？我之前在社区里碰到过好多人问这个，给你几个实打实的解决思路：

• 先搞定令牌映射的基础问题：首先得明确，API返回的logprobs是针对每个令牌的，不是直接对应到咱们说的“词”。所以你得先用和GPT-3同款的令牌器（比如OpenAI的tiktoken库，选p50k_base这个模型对应的规则）把目标词拆成令牌，这样才能把API返回的概率和词一一对应上，别在这一步就错位了。
• 多令牌词的惊奇值怎么算：如果一个词拆成了N个令牌，根据概率的链式法则，这个词的条件概率是这N个令牌各自条件概率的乘积。转换成对数概率的话就简单了，直接把每个令牌的logprob加起来就行。然后要转成基2的对数再取负才是惊奇值——别忘了OpenAI返回的是自然对数，所以转换公式是惊奇值 = - (总logprob / ln(2))，别搞混了底数。
• 解决输出缺失或不一致的小技巧：有时候API返回的logprobs里少了些令牌的概率，大概率是你调用的时候参数没设置对。记得要把logprobs参数设成足够大的值（比如设为5，就能拿到每个位置前5个候选令牌的概率），同时必须开echo=True，这样API会把你输入的上下文也返回回来，你才能把输入的令牌序列和返回的logprobs精准对应。另外要是碰到概率计算和预期差很多的情况，先检查令牌拆分是不是完全匹配——其实令牌器的规则是固定的，只要你用的是和模型一致的拆分工具，结果是统一的，所以提前把所有目标词拆好存下来，对比API返回的令牌序列就行。
• 先做单令牌测试验证：别上来就搞复杂的多令牌词，先拿“dog”“sugar”这种单令牌的词做测试，计算出来的惊奇值符合预期了，再去碰多令牌的情况。比如你用上下文“I take my coffee with cream and ”调用API，设置max_tokens=1，拿到“dog”的logprob后算出惊奇值，看看是不是确实很高，这样能先排除参数和计算逻辑的基础问题。

对了，还有个容易踩的坑：调用API的时候一定要把temperature设为0，这样模型会输出最可能的令牌，没有随机干扰，计算出来的惊奇值才是准确的，不然随机因素会让结果飘来飘去的。

内容来源于stack exchange