如何实现PySpark DataFrame所有列与浮点数相乘？

首先得指出你之前的误区：df.columns返回的是列名的字符串列表（比如["A", "B", "C"]），不是DataFrame里的列数据，所以直接用它和参数相乘要么是重复列表（乘整数时），要么直接报错（乘浮点数时），这完全不是操作数据的正确方式。

你不需要逐个列手动写相乘逻辑，用PySpark的函数可以批量处理所有列，同时保留浮点数类型，具体步骤如下：

步骤1：导入必要的函数 #

首先要导入col函数，用来引用DataFrame的列：

from pyspark.sql.functions import col

步骤2：批量处理所有列 #

使用列表推导式遍历所有列名，对每一列执行列 * ponderation的操作，然后用select方法生成新的DataFrame：

# 假设你的ponderation是float类型，比如ponderation = 0.75
ponderation = 0.75
df2 = df.select([col(c) * ponderation for c in df.columns])

这样处理后，df2的每一列都是原列值乘以浮点参数的结果，而且列的数据类型会自动保留为浮点型（因为ponderation是float，相乘后类型会转换为浮点，即使原列是整数类型）。

可选：重命名列（如果需要） #

如果你想保留原列名，上面的代码已经做到了；如果想给新列加标识（比如区分缩放后的列），可以用alias重命名：

df2 = df.select([(col(c) * ponderation).alias(f"{c}_scaled") for c in df.columns])

验证结果 #

比如用你提供的测试数据，当ponderation=0.5时，df2的结果会是：

完全符合你保留浮点数类型的需求，而且不需要手动逐个处理列。

内容的提问来源于stack exchange，提问作者Johanna