Pandas高效实现指定行列交叉位置置1并累加计数

嘿，我完全懂你现在的痛点——双重循环处理1600万条数据简直是效率噩梦，之前直接生成DataFrame的方法还踩了NaN的坑。别担心，咱们用向量化操作彻底解决这两个问题，效率能提升好几个数量级！

问题核心拆解 #

你要实现的逻辑是：每次拿到一个_indices列表，把列表里非自身的行列交叉位置都加1，最终统计所有批次的累加次数。原来的双重循环是Python级别的逐元素操作，在大数据量下慢到离谱；而直接生成DataFrame的方法会因为索引不匹配产生NaN，累加时会破坏原有的0值。

最优解决方案：用Numpy向量化操作 #

Numpy的底层是C实现的，向量化操作完全避开了Python循环的开销，而且能精准定位要修改的位置，不会产生NaN。步骤如下：

1. 先把全0的DataFrame转成Numpy数组（操作更快，最后再转回DataFrame就行）

   import numpy as np
   import pandas as pd
   
   # 假设你的初始sharedby_BOTH是70x70全0DataFrame
   shared_arr = sharedby_BOTH.values  # 转成numpy数组
   

2. 对每个批次的_indices做批量累加
   对于每个从pos_val["sharedby"]中提取的_indices列表，我们可以一次性生成所有需要加1的位置，然后批量更新：

   # 把_indices转成numpy数组，方便索引操作
   idx = np.array(_indices)
   # 生成len(idx)×len(idx)的全1矩阵，减去单位矩阵去掉自身位置的1
   temp_matrix = np.ones((len(idx), len(idx)), dtype=int) - np.eye(len(idx), dtype=int)
   # 把temp_matrix加到shared_arr的对应交叉位置上
   shared_arr[np.ix_(idx, idx)] += temp_matrix
   

3. （可选）转回DataFrame格式
   如果最后还是需要Pandas DataFrame，直接转回去即可：

   sharedby_BOTH = pd.DataFrame(shared_arr, index=sharedby_BOTH.index, columns=sharedby_BOTH.columns)
   

为什么这个方法高效？ #

• 无Python循环开销：所有矩阵运算都是Numpy底层的C代码执行，速度比双重循环快几十甚至上百倍。
• 彻底避免NaN：我们直接在初始的全0数组上做累加，只修改_indices对应的交叉位置，其他位置保持0不变，完全不会引入NaN。

小例子验证逻辑 #

假设初始sharedby_BOTH是3×3全0，某批次的_indices = [0,2]：

• temp_matrix会生成：

  [[0, 1]
   [1, 0]]
  

• 加到shared_arr后，结果变成：

  [[0, 0, 1]
   [0, 0, 0]
   [1, 0, 0]]
  

完全符合你要的“非自身交叉位置加1”的需求。

如果你坚持用Pandas操作（稍慢但可行） #

如果不想转成Numpy数组，也可以用Pandas的.loc结合np.fill_diagonal实现：

temp_df = pd.DataFrame(1, index=_indices, columns=_indices)
np.fill_diagonal(temp_df.values, 0)  # 把对角线（自身位置）置0
sharedby_BOTH.loc[np.ix_(_indices, _indices)] += temp_df

不过这个方法的效率不如Numpy数组操作，大数据量下更推荐前者。

内容的提问来源于stack exchange，提问作者RightmireM