使用自定义函数合并cudf.DataFrame列失败，求替代方案

cudf的apply方法对返回字典类型的自定义函数（UDF）编译支持有限，这就是你遇到ValueError: user defined function compilation failed.的原因。可以用以下两种替代方案实现需求：

方案1：直接使用lambda函数结合行数据转换 #

import cudf
import pandas as pd

data = {'a': [1], 'b': [2], 'c': [3], 'd': [4]}
df = pd.DataFrame.from_dict(data)
dfgpu = cudf.DataFrame(df)

# 直接通过lambda生成目标字典
dfgpu['new'] = dfgpu.apply(
    lambda row: {'dictfromcolumns': row[['a', 'b', 'c', 'd']].tolist()},
    axis=1
)

方案2：分步处理（先生成列表列，再转换为字典） #

如果需要处理更复杂的场景，分步操作会更清晰：

import cudf
import pandas as pd

data = {'a': [1], 'b': [2], 'c': [3], 'd': [4]}
df = pd.DataFrame.from_dict(data)
dfgpu = cudf.DataFrame(df)

# 第一步：将指定列合并为列表列
dfgpu['temp_list'] = dfgpu[['a', 'b', 'c', 'd']].values.tolist()

# 第二步：将列表转换为目标字典格式
dfgpu['new'] = dfgpu['temp_list'].apply(lambda x: {'dictfromcolumns': x})

# 移除临时列
dfgpu = dfgpu.drop('temp_list', axis=1)

关键说明 #

• cudf对内置方法（如tolist()）的GPU加速支持更完善，比自定义函数效率更高
• 避免使用独立的自定义函数（如原代码中的f），改用lambda可以规避UDF编译的兼容性问题

内容的提问来源于stack exchange，提问作者epifanio