Python大型数据数组过滤优化：栅格点遮挡判断代码提速咨询

核心问题定位 #

你当前代码的性能瓶颈来自O(NM)复杂度的Python原生双层循环*：1000x1000栅格对应1e6个点，若障碍物数量为1e3，总循环次数就达1e9次，Python原生循环的执行效率无法支撑这个量级的计算。以下是可直接落地的优化方案：

具体优化措施 #

• 方案1：用NumPy向量化运算替代原生循环（改造成本最低，性能提升100倍以上）
  把障碍物列表和栅格列表都转为NumPy数组，利用广播机制一次性完成所有点和所有障碍物的条件判断，完全规避Python层循环：

  import numpy as np
  
  # 预处理：转换为numpy数组，拆分正负方向障碍物
  obs_arr = np.array(Obstacle)
  obs_pos = obs_arr[obs_arr[:, 0] > 0]  # 正方向障碍物
  obs_neg = obs_arr[obs_arr[:, 0] < 0]  # 负方向障碍物
  grid_arr = np.array(Grid)
  
  # 批量判断正方向遮挡
  cond_pos = (grid_arr[:, 0, None] >= obs_pos[:, 0]) & \
             (grid_arr[:, 1, None] <= obs_pos[:, 1]) & \
             (grid_arr[:, 1, None] >= obs_pos[:, 2])
  mask_pos = cond_pos.any(axis=1)
  
  # 批量判断负方向遮挡
  cond_neg = (grid_arr[:, 0, None] <= obs_neg[:, 0]) & \
             (grid_arr[:, 1, None] <= obs_neg[:, 1]) & \
             (grid_arr[:, 1, None] >= obs_neg[:, 2])
  mask_neg = cond_neg.any(axis=1)
  
  # 统计未被遮挡的点数量
  count = np.sum(~(mask_pos | mask_neg))
  print(count)
  

• 方案2：基于排序+二分查找降低判断复杂度（适合障碍物数量极多的场景）
  先把正方向障碍物按x坐标升序排序，负方向障碍物按x坐标降序排序。处理每个点时，用二分查找快速筛选出所有满足x坐标条件的障碍物，无需遍历全部障碍物，可把单轮点判断的复杂度从O(M)降到O(logM + K)，K为符合x条件的障碍物数量。

• 方案3：用Numba JIT编译加速原生循环（改造成本极低，性能提升50倍以上）
  若不愿意改原有逻辑，只需给判断函数加Numba的即时编译装饰器，就能把Python循环编译为机器码执行：

  from numba import njit
  
  @njit  # 加这一行即可
  def CheckIfObstacle(point, Obstacle):
      for obs in Obstacle:
          if obs[0]>0 and point[0] >= obs[0] and (obs[1] >= point[1] >= obs[2]):
                  return True
          elif obs[0]<0 and point[0] <=obs[0] and (obs[1]>= point[1]>= obs[2]):
                  return True
      return False    
  

  注意需要提前把Obstacle转为NumPy数组再传入函数，性能提升更明显。

• 其他细节优化
  去掉/调低打印频率：你当前每10000个点打印一次的逻辑会额外占用IO时间，处理千万级以上栅格时建议完全关闭打印，或调整为每100万个点打印一次。

内容的提问来源于stack exchange，提问作者Karfloffel