如何计算矩阵熵？含手动计算方法与Python实现需求

一、手动计算步骤 #

矩阵熵的计算核心是基于元素的概率分布，遵循信息论中熵的定义。具体步骤如下：

1. 转换为概率矩阵
   如果你的矩阵是原始数值矩阵，先计算所有元素的总和，再将每个元素除以总和，得到对应的概率值 ( p_{ij} )。比如矩阵 ( M = \begin{bmatrix}1&2\3&4\end{bmatrix} )，总和为10，概率矩阵就是 ( \begin{bmatrix}0.1&0.2\0.3&0.4\end{bmatrix} )。
   如果矩阵本身就是概率分布（元素和为1），直接进入下一步。

2. 排除零概率项
   由于对数函数在0处无定义，所有 ( p_{ij}=0 ) 的项不需要参与计算。

3. 计算熵值
   使用熵的公式：
   [
   H = -\sum_{i,j} p_{ij} \cdot \log_b(p_{ij})
   ]

   • 当底数 ( b=2 ) 时，熵的单位是比特（信息论常用）；
   • 当底数 ( b=e ) 时，单位是奈特；
   • 当底数 ( b=10 ) 时，单位是哈特利。

   拿上面的例子计算：
   [
   H = -(0.1\log_20.1 + 0.2\log_20.2 + 0.3\log_20.3 + 0.4\log_20.4) \approx 1.846 \text{ 比特}
   ]

二、Python实现 #

用NumPy可以高效完成矩阵熵的计算，以下是实用的代码实现：

import numpy as np

def calculate_matrix_entropy(matrix, base=2):
    # 计算矩阵元素总和
    total = np.sum(matrix)
    if total == 0:
        raise ValueError("矩阵所有元素为0，无法计算熵")
    
    # 转换为概率矩阵
    prob_matrix = matrix / total
    
    # 过滤掉零概率元素，避免log(0)错误
    non_zero_probs = prob_matrix[prob_matrix > 0]
    
    # 计算熵
    entropy = -np.sum(non_zero_probs * np.log(non_zero_probs) / np.log(base))
    return entropy

# 测试示例
test_matrix = np.array([[1, 2], [3, 4]])
print(f"矩阵熵（比特）：{calculate_matrix_entropy(test_matrix, base=2):.3f}")
print(f"矩阵熵（奈特）：{calculate_matrix_entropy(test_matrix, base=np.e):.3f}")

代码说明：

• 先判断矩阵总和是否为0，避免除以0的错误；
• 用布尔索引过滤非零概率元素；
• 通过 np.log(non_zero_probs)/np.log(base) 实现任意底数的对数计算，等价于 log_base(x)。

内容的提问来源于stack exchange，提问作者Arthur Dupent