FTIR数据Shannon熵计算结果差异及方法合理性咨询

方法一的合理性分析 #

方法一代码存在一处未定义变量（average_spectra），推测实际是使用单条光谱（比如intensity_at_position）或图像平均光谱进行计算，修正后的核心逻辑示例如下：

# 假设使用选中位置的单条光谱计算
prob_distribution = intensity_at_position / np.sum(intensity_at_position)
entropy = -np.sum(prob_distribution * np.log2(prob_distribution + 1e-10))

这种计算方式针对单条FTIR光谱的波数维度，将每个波数的归一化强度视为概率，衡量光谱在不同波数上的强度分布复杂度。熵值6.25是合理的：若光谱有N个波数点，理论最大熵为log2(N)，比如64个波数点的最大熵就是6，与结果匹配。你预期的0-1是混淆了归一化熵的概念，原始Shannon熵的范围是0到log2(N)，而非固定0-1区间。

方法二的合理性分析 #

方法二的核心问题出在shannons_entropy函数的实现上：

def shannons_entropy(data):
    data_flatten = data.flatten()
    data_flatten_no_nan = data_flatten[~np.isnan(data_flatten)]
    # 错误操作：将连续的FTIR强度值强制转为整数后统计频数
    p_data = np.bincount(data_flatten_no_nan.astype(int)) / len(data_flatten_no_nan)
    entropy = -np.sum(p_data * np.log2(p_data + 1e-10))
    return entropy

FTIR强度是连续浮点数，直接转为整数会丢失几乎所有强度差异（比如0.1、0.2都会被转成0），导致概率分布极度集中，熵值趋近于0。此外，方法二计算的是整个图像所有像素强度值分布的熵，与方法一的计算对象（单条光谱的波数维度）完全不同，这也是结果差异的关键原因。

结果差异的核心原因 #

1. 计算对象完全不同：
   • 方法一：单条光谱的波数维度，衡量光谱的波数强度分布复杂度
   • 方法二：整个图像的像素强度值集合，衡量图像中强度的离散程度（但实现错误导致结果失真）
2. 方法二的实现错误：
   连续强度值转整数的操作彻底破坏了数据的分布特征，导致概率分布几乎没有多样性，熵值接近0。

修正建议 #

如果目标是计算光谱维度的熵（比如每个像素光谱的熵，或图像平均光谱的熵），可参考以下修正方向：

• 对方法一：补全average_spectra的定义（比如计算所有像素光谱的平均值），确保针对每条光谱的波数维度做归一化和熵计算
• 对方法二：修改熵计算逻辑，针对每个有效像素的光谱单独计算熵，再做统计：

  def spectrum_shannon_entropy(spectrum):
      # 对单条光谱做归一化
      prob = spectrum / np.sum(spectrum)
      return -np.sum(prob * np.log2(prob + 1e-10))
  
  # 提取去除背景后的有效光谱，计算每条光谱的熵并统计
  valid_spectra = intensity_data_no_background[~np.isnan(intensity_data_no_background).all(axis=2)]
  entropy_values = [spectrum_shannon_entropy(spec) for spec in valid_spectra]
  avg_entropy = np.mean(entropy_values)
  

内容的提问来源于stack exchange，提问作者Rahul Suresh