如何从Pandas DataFrame高效生成高斯核矩阵（无循环）

高斯核（RBF核）的计算公式为：

K(x_i, x_j) = exp(-γ * ||x_i - x_j||²)
其中γ是核参数（通常取1/(2σ²)，σ为带宽），||x_i - x_j||²是两个样本的欧氏距离平方。

下面提供两种基于Numpy向量化操作的高效实现方式，完全避免for循环，比逐对遍历的效率高几个数量级：

方法一：利用Numpy广播特性 #

通过数组维度扩展实现两两样本的差运算，再计算平方和：

import numpy as np
import pandas as pd

# 示例DataFrame（替换为你的数据）
df = pd.DataFrame(np.random.rand(100, 5))
# 转为Numpy数组（Pandas DataFrame的values属性或to_numpy()均可）
X = df.to_numpy()
# 设置核参数γ
gamma = 0.1

# 扩展维度后计算两两样本的差：(n_samples, 1, n_features) - (n_samples, n_features) → (n_samples, n_samples, n_features)
diff = X[:, None] - X
# 计算差的平方
sq_diff = diff ** 2
# 按特征维度求和，得到两两样本的距离平方矩阵：(n_samples, n_samples)
dist_sq = sq_diff.sum(axis=2)
# 生成核矩阵
kernel_matrix = np.exp(-gamma * dist_sq)

方法二：基于矩阵运算优化（更适合大样本） #

利用欧氏距离平方的代数变形：||x_i - x_j||² = ||x_i||² + ||x_j||² - 2x_i·x_j，通过矩阵乘法实现内积计算，借助BLAS加速，效率更高：

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.rand(100, 5))
X = df.to_numpy()
gamma = 0.1

# 计算每个样本的L2范数平方：(n_samples, 1)
norm_sq = np.sum(X ** 2, axis=1, keepdims=True)
# 计算两两样本的内积矩阵：(n_samples, n_samples)
inner_product = X @ X.T
# 推导得到距离平方矩阵
dist_sq = norm_sq + norm_sq.T - 2 * inner_product
# 生成核矩阵
kernel_matrix = np.exp(-gamma * dist_sq)

关键说明 #

• 两种方法均完全依赖Numpy的向量化操作，避免了Python层面的循环，底层由C实现，效率远超for循环
• 方法二的矩阵乘法会调用系统优化的BLAS库，当样本量较大（比如超过1000个样本）时，性能优势更明显
• 核参数γ需要根据数据分布调整，通常可以通过交叉验证选择最优值

内容的提问来源于stack exchange，提问作者guguzinha