快速替换大型NumPy数组中OBJECTID为对应植被类型的方法

原代码性能问题原因 #

你的原有代码逐行遍历映射表，每次对整个百万级元素的数组做全量布尔匹配，时间复杂度为O(映射表行数 * 数组元素数)，10万行映射表对应近2e11次操作，必然极慢。

最优实现方案（按场景二选一即可） #

场景1：OBJECTID为非负整数，且最大值不超过1e6（推荐首选） #

利用NumPy原生数组索引的C级运算速度，仅需一次数组遍历即可完成替换，耗时通常在1毫秒以内：

import numpy as np
import pandas as pd

# 1. 构建OBJECTID到植被类型的映射字典
id_veg_map = dict(zip(vegdata['OBJECTID'], vegdata['VEG_TYPE']))

# 2. 构建查找数组，dtype根据植被类型字符串长度调整，比如最长10个字符就设为U10
max_obj_id = vegdata['OBJECTID'].max()
lookup_arr = np.empty(max_obj_id + 1, dtype='U10')
for obj_id, veg_type in id_veg_map.items():
    lookup_arr[obj_id] = veg_type

# 3. 直接索引完成替换，一步得到结果
result = lookup_arr[array]

场景2：OBJECTID最大值过大，构建全量查找数组内存占用过高 #

通过np.unique先提取数组内实际存在的唯一ID，再做映射替换，仅遍历数组2次，耗时通常在10毫秒以内：

import numpy as np
import pandas as pd

# 1. 构建OBJECTID到植被类型的映射字典
id_veg_map = dict(zip(vegdata['OBJECTID'], vegdata['VEG_TYPE']))

# 2. 提取数组中唯一ID和反向索引
unique_ids, inverse_idx = np.unique(array, return_inverse=True)

# 3. 生成唯一ID对应的植被类型数组
veg_arr = np.array([id_veg_map[id] for id in unique_ids])

# 4. 用反向索引还原得到结果
result = veg_arr[inverse_idx].reshape(array.shape)

备用简化方案 #

如果对性能要求没到极致，也可以用pandas的replace方法实现，代码更简洁，耗时通常在100毫秒以内：

result = pd.Series(array.flatten()).replace(id_veg_map).values.reshape(array.shape)

内容的提问来源于stack exchange，提问作者Jasper