Shannon熵函数计算"aaaaa"返回-0.0而非0.0，如何修复？

问题原因 #

当计算全相同字符的字符串时，所有字符的概率为1.0，log2(1.0)的结果是0.0，但由于浮点数运算的符号位特性（比如某些中间计算步骤的符号残留），最终求和后可能得到**-0.0**——这是浮点数表示中的特殊值，本质和0.0等价，但显示上不符合预期。

修复方案 #

可以通过以下几种方式解决，核心思路是确保返回结果符合熵的非负数学定义：

• 方法1：返回前强制取非负值
  修改函数的返回语句，直接将结果与0.0取最大值，把-0.0转为0.0：

  import math
  from collections import Counter
  
  def shannon_entropy(s):
      char_counts = Counter(s)
      total = len(s)
      probabilities = [count / total for count in char_counts.values()]
      entropy = -sum(p * math.log2(p) for p in probabilities)
      return max(entropy, 0.0)
  

• 方法2：显式判断转换
  直接针对-0.0的情况做转换：

  return entropy if entropy > 0 else 0.0
  

• 方法3：提前修正概率精度
  如果概率计算中因浮点误差出现极小负数，先对概率取绝对值：

  probabilities = [abs(count / total) for count in char_counts.values()]
  

原理说明 #

Shannon熵的数学定义中，熵值不可能为负数：概率p的范围是(0,1]，log2(p)的范围是(-∞,0]，乘以-p后每个项都是非负的，总和自然非负。通过上述方式强制结果不小于0.0，既能修正-0.0的显示问题，也严格符合熵的数学定义。

内容的提问来源于stack exchange，提问作者sansa