如何在Pandas中高效实现千级类配对差值列生成

针对你有1000个Class的场景，不推荐先生成所有Class的Value扩展列（会产生2000列，内存开销极大），直接计算配对的曼哈顿距离（即你需要的A_B_Value这类列）是更高效的方式，以下是两种实现方法：

方法一：Numpy向量化计算（推荐，速度更快） #

利用Numpy的广播机制批量计算所有配对的距离，避免Python循环，适合大数据量场景：

import pandas as pd
import numpy as np

# 构造示例DataFrame（替换为你的实际数据）
df = pd.DataFrame({
    'Class': ['A', 'B', 'C'],
    'Value1': [2, 3, 4],
    'Value2': [1, 3, 5]
})

# 1. 提取Value列的数值矩阵
values = df[['Value1', 'Value2']].values
class_list = df['Class'].values
n_classes = len(class_list)

# 2. 批量计算所有配对的曼哈顿距离：shape为(n_classes, n_classes)
# 广播计算每个Class与所有Class的Value差值绝对值之和
distances = np.abs(values[:, np.newaxis, :] - values[np.newaxis, :, :]).sum(axis=2)

# 3. 生成i<j的配对列名（避免重复计算A_B和B_A）
triu_indices = np.triu_indices(n_classes, k=1)  # 上三角索引，k=1排除自身配对
pair_names = [f'{class_list[i]}_{class_list[j]}_Value' for i, j in zip(*triu_indices)]

# 4. 提取配对距离值，构造常量列DataFrame（所有行值相同）
pair_df = pd.DataFrame({name: [distances[i, j]]*n_classes for i, j, name in zip(*triu_indices, pair_names)})

# 5. 合并原DataFrame与配对距离列
final_df = pd.concat([df, pair_df], axis=1)

方法二：Python循环实现（逻辑直观） #

如果对Numpy广播不熟悉，也可以用循环实现，逻辑更直白，1000个Class的循环次数约50万次，Python可以轻松处理：

import pandas as pd

# 构造示例DataFrame
df = pd.DataFrame({
    'Class': ['A', 'B', 'C'],
    'Value1': [2, 3, 4],
    'Value2': [1, 3, 5]
})

# 1. 构建Class到Value的映射字典
class_value_map = df.set_index('Class')[['Value1', 'Value2']].to_dict('index')
class_list = df['Class'].tolist()

# 2. 遍历所有i<j的配对，计算距离
pair_distances = {}
for i in range(len(class_list)):
    c1 = class_list[i]
    v1 = class_value_map[c1]
    for j in range(i+1, len(class_list)):
        c2 = class_list[j]
        v2 = class_value_map[c2]
        dist = abs(v1['Value1'] - v2['Value1']) + abs(v1['Value2'] - v2['Value2'])
        pair_distances[f'{c1}_{c2}_Value'] = dist

# 3. 将距离作为常量列添加到原DataFrame
for col_name, distance in pair_distances.items():
    df[col_name] = distance

final_df = df

结果说明 #

两种方法最终都会生成你需要的DataFrame，每个配对列的所有行值相同（因为配对距离是固定的，与当前行的Class无关），既满足需求又避免了不必要的内存开销。

内容的提问来源于stack exchange，提问作者python_interest