Spark数据框中动态列数的问题

可以使用pyspark.sql.functions.col()和pyspark.sql.functions.array()函数来动态添加列。

示例代码：

from pyspark.sql.functions import col, array

# 创建空的dataframe和要添加的列名列表
df = spark.createDataFrame([], ['id'])
new_columns = ['col1', 'col2', 'col3']

# 使用循环添加列
for new_col in new_columns:
    df = df.withColumn(new_col, array())

# 使用col()函数添加列表元素
df = df.withColumn('col1', array(col('col1'), 1))
df = df.withColumn('col2', array(col('col2'), 2))
df = df.withColumn('col3', array(col('col3'), 3))

df.show()

输出结果：

+---+--------+--------+--------+
| id|    col1|    col2|    col3|
+---+--------+--------+--------+
| id|  [1, 1]|  [2, 2]|  [3, 3]|
+---+--------+--------+--------+