pandas/numpy高效处理含列表单元格的DataFrame数据转换咨询

方案1：Numba JIT编译加速（推荐，改动最小性能提升最大） #

现有方案慢的核心原因是纯Python层面的逐元素循环，Numba可以将自定义计算函数编译为机器码，执行效率提升可达10~100倍。
代码示例：

import pandas as pd
import numba
import numpy as np

# 用numba的njit装饰器编译函数，关闭Python对象模式
@numba.njit
def convert_list(x):
    n = len(x)
    if n == 0:
        return 0.0
    res = (sum(x) / n) + 5
    return res if res > 0 else 1.0

# 直接对全表执行元素级映射，不需要逐列遍历
df = df.applymap(convert_list)

如果遇到Python原生列表的类型兼容问题，可通过拉平数组的方式处理，规避pandas apply的额外开销：

arr = df.values.flatten()
res_arr = np.array([convert_list(x) for x in arr])
df = pd.DataFrame(res_arr.reshape(df.shape), columns=df.columns)

方案2：纯Numpy向量化实现（无额外依赖） #

如果不想引入Numba依赖，可以通过批量预计算列表的总和、长度，再用Numpy的向量化操作完成计算，进一步压缩开销：

import numpy as np

# 拉平数组批量计算每个列表的长度和总和
flat = df.values.flatten()
len_arr = np.array([len(x) for x in flat])
sum_arr = np.array([sum(x) for x in flat])

# 向量化执行所有判断逻辑
res = np.where(len_arr == 0, 0, (sum_arr / len_arr) + 5)
res = np.where((len_arr != 0) & (res <= 0), 1, res)

# 转回原DataFrame结构
df = pd.DataFrame(res.reshape(df.shape), columns=df.columns)

额外优化建议 #

• 当前单元格存列表的存储结构本身不是结构化数据的高效存储方案，如果可以调整上游数据生成逻辑，提前计算好每个列表的总和、长度，性能还能再提升一个量级。
• 若数据量超过内存上限，可使用Dask分块处理，避免内存溢出。

内容的提问来源于stack exchange，提问作者Thomas Kodill