基于天数差DataFrame条件高效修改距离矩阵DataFrame的方法

问题背景 #

我有两个同索引同列名的DataFrame：

• 天数差矩阵：记录不同地点间活动执行的天数差值，规模约60000×60000
• 距离矩阵：记录不同地点间的距离，规模与天数差矩阵一致

示例数据如下：

天数差矩阵 #

location 1  location 2  location 3  location 4  location 5
location 1  0       3              -5                0             2
location 2  3       0               9                2            -3
location 3  -5      9               0                0            -5
location 4  0       2               0                0             6
location 5  2      -3              -5                6             0

距离矩阵 #

location 1  location 2  location 3  location 4  location 5
location 1  0      64              46                69             68
location 2  64      0              31               100             36
location 3  46     31               0                78             41                                      
location 4  69    100              78                 0             53
location 5  68     36              41                53              0

需求 #

当天数差矩阵中某位置的数值为负时，将距离矩阵对应位置的数值改为1000。目前用嵌套for循环实现，但效率极低：

for i in range(len(days_difference)):
    for j in range(len(days_difference.columns)):
        if days_difference.iloc[i,j] > 0 :
            continue
        else:
                df_dist_matrix.iloc[i,j] = 1000

高效解法 #

Pandas的矢量化操作完全可以替代嵌套循环，避免逐元素遍历的巨大性能开销，以下几种方法都适用：

• 方法1：布尔索引直接赋值
  利用布尔条件筛选出需要修改的位置，直接批量赋值：

  # 生成布尔掩码：天数差 <=0 的位置为True
  mask = days_difference <= 0
  # 对距离矩阵中掩码为True的位置赋值1000
  df_dist_matrix[mask] = 1000
  

• 方法2：使用DataFrame.where()方法
  where()会保留满足条件的元素，不满足的替换为指定值：

  # 保留天数差>0的原距离值，否则替换为1000
  df_dist_matrix = df_dist_matrix.where(days_difference > 0, 1000)
  

• 方法3：结合Numpy的np.where()
  如果需要更灵活的条件判断，也可以用Numpy的矢量化函数：

  import numpy as np
  df_dist_matrix = pd.DataFrame(
      np.where(days_difference <= 0, 1000, df_dist_matrix),
      index=df_dist_matrix.index,
      columns=df_dist_matrix.columns
  )
  

性能说明 #

对于60000×60000的大型矩阵，矢量化操作的效率是嵌套循环的数百甚至数千倍，因为Pandas/Numpy会将操作转换为底层C语言实现的批量运算，避免了Python层面的循环开销。

内容的提问来源于stack exchange，提问作者arvind shukla