如何对字典中长度一致的ndarray元素同时执行排序、删行等操作

你可以采用numpy原生的结构化数组方案，既不需要引入pandas依赖，也不用手动逐个操作每列数组，性能符合列存的设计初衷，具体实现如下：

方案1：使用numpy结构化数组（推荐，性能最优） #

结构化数组可以直接把你的列存字典打包为支持行级操作的numpy对象，所有操作都是numpy底层实现，远快于手动循环处理数组。

步骤1：将字典转换为结构化数组 #

import numpy as np

# 你的原始数据
MAP = {'ID': np.array([0, 1, 2, 3, 4]), 
       'City': np.array(['Berlin', 'Copenhagen', 'London', 'Rome', 'Zurich'], dtype='<U10'),
       'Population': np.array([10, 11, 12, 13, 14])}

# 构造结构化数组
dtype = [(col, arr.dtype) for col, arr in MAP.items()]
structured_arr = np.empty(len(MAP['ID']), dtype=dtype)
for col in MAP:
    structured_arr[col] = MAP[col]

步骤2：执行行级操作 #

排序示例：按Population降序排序

# 获取排序后的索引
sorted_idx = np.argsort(structured_arr['Population'])[::-1]
# 直接对整个结构化数组做行切片，所有列自动同步排序
sorted_arr = structured_arr[sorted_idx]

删除行示例：删除ID=2的行

# 生成保留行的掩码
mask = structured_arr['ID'] != 2
# 切片后自动删除不符合条件的行，所有列同步
filtered_arr = structured_arr[mask]

步骤3：转换回原始字典格式 #

new_MAP = {col: filtered_arr[col] for col in filtered_arr.dtype.names}

方案2：通用索引批量处理函数 #

如果你不想改动原有数据结构，可以封装一个统一处理索引的工具函数，所有操作只需要先计算出需要保留的索引，一次调用即可完成所有列的同步切片：

def slice_col_dict(col_dict, keep_mask):
    # keep_mask可以是索引数组，也可以是布尔掩码
    return {k: v[keep_mask] for k, v in col_dict.items()}

# 使用示例：删除Population<12的行
keep_mask = MAP['Population'] >= 12
new_MAP = slice_col_dict(MAP, keep_mask)

# 使用示例：按City拼音排序
sorted_idx = np.argsort(MAP['City'])
new_sorted_MAP = slice_col_dict(MAP, sorted_idx)

方案对比 #

• 结构化数组适合高频进行行操作的场景，单步操作不需要遍历字典，性能更高，数据量越大优势越明显
• 通用函数适合偶尔进行行操作的场景，不需要额外做数据结构转换，代码更简洁

内容的提问来源于stack exchange，提问作者ljhoh1