如何使用SparkSession从列表创建PySpark DataFrame？适配ALS模型需求

嘿，刚好我之前也碰到过类似的需求，这就给你捋清楚怎么弄！

首先你说得没错，Spark 2.0及以后确实不需要手动创建SQLContext了——SparkSession已经把SQLContext的功能完全整合进去了，直接用SparkSession实例就能搞定所有操作，省心多了。

下面给你两种最常用的方法，生成符合ALS recommendForUserSubset要求的DataFrame：

方法1：直接用SparkSession的range生成（最简洁） #

SparkSession自带的range方法可以直接生成整数序列的DataFrame，默认列名是id，我们只需要重命名成你需要的列名（比如user_id，对应ALS模型里的用户ID列）就行：

from pyspark.sql import SparkSession

# 先初始化SparkSession（整个脚本里初始化一次就够）
spark = SparkSession.builder.appName("ALS_User_Subset").getOrCreate()

# 生成1到100的整数范围（注意range是左闭右开，所以结束值写101），并重命名列
user_subset_df = spark.range(1, 101).withColumnRenamed("id", "user_id")

# 看看结果对不对
user_subset_df.show(5)

运行后你会得到一个只有user_id列的DataFrame，所有值都是整数，刚好符合recommendForUserSubset的输入要求。

方法2：把已有的整数列表转成DataFrame #

如果你已经用Python的range生成了整数列表，也可以直接用createDataFrame转成DataFrame，指定列名即可：

# 假设你已经有了准备好的用户ID列表
user_ids = list(range(1, 101))

# 方式一：用元组列表传入，指定列名
user_subset_df = spark.createDataFrame([(uid,) for uid in user_ids], ["user_id"])

# 方式二：更简洁的写法，先转成单列DataFrame再重命名
user_subset_df = spark.createDataFrame(user_ids, "integer").toDF("user_id")

两种方式都能得到同样的结果，选你觉得顺手的就行。

小提醒 #

要确保你设置的列名和ALS模型训练时用的用户列名一致哦！比如如果训练模型时你用的列名是user，那这里就把列名改成user，不然recommendForUserSubset会找不到对应列报错。

内容的提问来源于stack exchange，提问作者Adair