Pandas使用.apply结合条件处理vector列元素的问题

需求说明 #

给定Pandas DataFrame，需对vector列的每个数组元素做如下处理：

• 若元素为0或1，用公式(元素+10)/(元素+2)替换
• 其他元素保持原值

原始数据 #

DataFrame定义：

df = pd.DataFrame({'user': ['user 1', 'user 2', 'user 3'],
                   'vector': [[0.01, 0.07, 0.0, 0.14, 0.0, 0.55, 0.11],
                              [0.12, 0.27, 0.1, 0.14, 0.1, 0.09, 0.19],
                              [0.58, 0.07, 0.02, 0.14, 0.04, 0.06, 1]]})

原始输出：

user                                             vector
0  user 1  [0.01, 0.07, 0.0, 0.14, 0.0, 0.55, 0.11]
1  user 2  [0.12, 0.27, 0.1, 0.14, 0.1, 0.09, 0.19]
2  user 3  [0.58, 0.07, 0.02, 0.14, 0.04, 0.06, 1]

尝试的无效代码 #

df['vector']=df.apply(lambda x: x['vector']+10/(x['vector']+2) if x['vector']==0|1  else x['vector'], axis=1)

错误原因 #

1. 逻辑判断错误：x['vector']==0|1 完全不成立，x['vector']是列表，无法直接与单个数值0/1比较；且|是位运算符，不能用于逻辑判断。
2. 列表运算错误：试图让列表和数值做算术运算，不符合Python列表操作规则，根本无法实现元素级的处理。

正确解法 #

方法1：自定义函数+apply #

遍历每个列表元素，逐个判断处理：

def process_vector(vec):
    return [(num + 10)/(num + 2) if num in (0, 1) else num for num in vec]

df['vector'] = df['vector'].apply(process_vector)

方法2：lambda简化写法 #

把处理逻辑直接嵌入lambda：

df['vector'] = df['vector'].apply(lambda vec: [(n+10)/(n+2) if n in (0,1) else n for n in vec])

方法3：numpy向量化处理（适合大数据量） #

转成numpy数组进行批量处理，效率更高：

import numpy as np

def process_vector_np(vec):
    arr = np.array(vec)
    mask = (arr == 0) | (arr == 1)
    arr[mask] = (arr[mask] + 10)/(arr[mask] + 2)
    return arr.tolist()

df['vector'] = df['vector'].apply(process_vector_np)

预期输出 #

user                                             vector
0  user 1  [0.01, 0.07, 5.0, 0.14, 5.0, 0.55, 0.11]
1  user 2  [0.12, 0.27, 0.1, 0.14, 0.1, 0.09, 0.19]
2  user 3  [0.58, 0.07, 0.02, 0.14, 0.04, 0.06, 3.6666666666666665]

内容的提问来源于stack exchange，提问作者alxander21