根据pandas DataFrame各行num列的数组元素更新numpy数组取值
实现步骤
修正初始化数组的逻辑
当前写的df_neu = np.full(data[['id', 'num']].nunique(), 0)生成的数组列数是num字段的唯一值总个数,不是按num的数值本身做列索引,没法直接匹配“某数字存在就给对应列位置置1”的要求。要对齐目标输出的列和num值的对应关系,初始化数组时需要让列的范围覆盖所有num可能出现的整数值,让列索引和num值一一对应:
注意:这里不需要用num列的唯一值个数作为列数,只要列索引的范围能覆盖num的实际取值,就能保证位置对应正确
# 统计num的最大取值,列数设为max_num + 1,保证所有可能的num值都能对应到列位置 max_num_val = data['num'].max() total_rows = data['id'].nunique() df_neu = np.zeros((total_rows, max_num_val + 1), dtype=np.int8)
逐行完成赋值
拿到全0结构的数组后,逐行遍历聚合后的df,对每一行的num列表去重,把所有出现过的num值作为列索引,在数组对应位置置1即可,重复出现的数值不需要额外处理:
for row_idx, row in df.iterrows(): # 去掉重复值,拿到该行实际出现的所有数字 existed_vals = set(row['num']) for val in existed_vals: df_neu[row_idx, val] = 1
跑完这部分逻辑,输出的数组就完全符合预期:所有num列表里出现过的数字对应列位置为1,没出现的位置保持初始的0。
大数据量场景的优化
如果聚合后的df行数较多,逐行循环效率偏低,可以用pandas内置的交叉表做独热编码,一步生成完全等价的结果,跳过手写循环:
# 炸开每行的num列表,交叉表自动统计数值存在性,截断到1就和目标逻辑完全一致 exploded = df.explode('num') df_neu = pd.crosstab(index=exploded.index, columns=exploded['num']).clip(upper=1).to_numpy()
内容的提问来源于stack exchange,提问作者Mars
相关产品推荐
相关产品推荐

