PySpark中使用exec()为DataFrame新增列失败的问题

我懂你想用exec()来生成这个包含所有列信息的label列但碰壁了——说实话，exec()在pandas操作里经常因为作用域、字符串语法转义这些坑出问题，咱们完全可以用更稳妥、易读的方式来实现需求，根本没必要依赖exec()。

先明确需求和示例数据 #

你有类似这样的DataFrame：

import pandas as pd

df = pd.DataFrame({
    'Atr0': [0, 0, 0],
    'Atr1': [1, 2, 8]
})

想要生成label列，每行是该行所有列名和对应值的拼接字符串，比如第一行的label是"Atr0: 0, Atr1: 1"。

为什么exec()容易失败？ #

大概率是因为你尝试用exec()拼接赋值语句时，遇到了作用域不兼容或者字符串引号转义错误。比如你可能写了类似这样的代码：

# 容易出错的exec()写法示例
exec("df['label'] = df.apply(lambda row: ', '.join([f'{col}: {val}' for col, val in row.items()]), axis=1)")

这里的lambda函数在exec()的局部作用域里可能无法正确访问外部的df，或者字符串里的嵌套引号没有正确转义，导致执行报错。

替代方案：用pandas原生方法实现 #

方案1：用apply()逐行拼接（简单直观）

这是最容易理解的方式，适合中小规模数据：

df['label'] = df.apply(
    lambda row: ', '.join([f'{col}: {val}' for col, val in row.items()]),
    axis=1
)

执行后得到的结果：

Atr0  Atr1          label
0     0     1  Atr0: 0, Atr1: 1
1     0     2  Atr0: 0, Atr1: 2
2     0     8  Atr0: 0, Atr1: 8

方案2：向量化操作（大数据量更高效）

如果你的DataFrame行数很多，apply()逐行处理会比较慢，推荐用向量化的方式先生成每个列的字符串，再拼接：

# 为每个列生成"列名: 值"的临时字符串列
temp_cols = []
for col in df.columns:
    temp_col = f'_{col}'
    df[temp_col] = f'{col}: ' + df[col].astype(str)
    temp_cols.append(temp_col)

# 拼接临时列成label，然后删除临时列
df['label'] = df[temp_cols].agg(', '.join, axis=1)
df.drop(columns=temp_cols, inplace=True)

这种方式避免了逐行循环，性能会好很多。

总结 #

尽量避免在pandas操作中使用exec()，它会让代码的可读性、可调试性大大降低，还容易踩作用域的坑。用pandas自带的apply()、agg()或者向量化字符串操作，既能满足需求，又更安全可靠。

内容的提问来源于stack exchange，提问作者jartymcfly