如何基于Pandas DataFrame构建相对熵矩阵

针对你的需求，由于df.corr()无法自定义计算逻辑，最佳方式是手动实现一个函数，遍历DataFrame的列对计算相对熵（KL散度），生成对应的矩阵。以下是具体实现步骤和代码：

核心思路 #

1. 相对熵（KL散度）是不对称的度量，因此结果矩阵不会像相关系数矩阵那样对称，这一点需要注意；
2. 处理概率为0的边界情况：添加极小值epsilon避免计算中出现除以0或对数无意义的问题；
3. 确保每列是合法概率分布：对列数据归一化，保证总和为1。

代码实现 #

1. 导入依赖库 #

import pandas as pd
import numpy as np
from scipy.stats import entropy

2. 定义KL散度矩阵计算函数 #

def kl_divergence_matrix(df, epsilon=1e-10):
    # 初始化结果矩阵，索引和列名与原DataFrame一致
    cols = df.columns
    kl_matrix = pd.DataFrame(index=cols, columns=cols)
    
    # 遍历所有列对计算KL散度
    for i in cols:
        for j in cols:
            # 添加epsilon避免0值问题
            p = df[i] + epsilon
            q = df[j] + epsilon
            # 归一化确保为合法概率分布
            p = p / p.sum()
            q = q / q.sum()
            # 计算KL(p||q)
            kl_matrix.loc[i, j] = entropy(p, q)
    
    # 转换为浮点型
    return kl_matrix.astype(float)

3. 测试示例 #

# 你的示例DataFrame
df = pd.DataFrame(np.array([[0.2, 0.5, 0.3], [0.1, 0.2, 0.5], [0.4, 0.3, 0.3]]),
                   columns=['a', 'b', 'c'])

# 生成KL散度矩阵
kl_matrix = kl_divergence_matrix(df)
print(kl_matrix)

可选：对称化度量（JS散度） #

如果需要和corr()一样的对称矩阵，可以使用Jensen-Shannon散度（JS散度），它是KL散度的对称变体：

def js_divergence_matrix(df, epsilon=1e-10):
    cols = df.columns
    js_matrix = pd.DataFrame(index=cols, columns=cols)
    
    for i in cols:
        for j in cols:
            p = df[i] + epsilon
            q = df[j] + epsilon
            p = p / p.sum()
            q = q / q.sum()
            # 计算平均分布
            m = (p + q) / 2
            # 计算JS散度
            js = 0.5 * entropy(p, m) + 0.5 * entropy(q, m)
            js_matrix.loc[i, j] = js
    
    return js_matrix.astype(float)

内容的提问来源于stack exchange，提问作者Qubix