PySpark AnalysisException错误解析：id字段缺失问题及解决

错误原因 #

你写的cluster1_users.contains(df.userId)是错误用法：

• cluster1_users是仅含id列的DataFrame，contains是Spark列（Column）的专属方法，不能直接调用在DataFrame对象上
• Spark解析该表达式时，会尝试在df的字段中查找id列，但df仅包含userId/movieId/rating/timestamp字段，因此抛出属性缺失的解析异常

正确解决方案 #

推荐使用**半连接（Semi Join）**实现需求，半连接专门用于「保留左表中与右表匹配的记录」的场景，无需拉取数据到Driver端，执行效率更高：

# 获取目标聚类的用户id对应的DataFrame（仅保留id列）
cluster1_users = transformed.filter(transformed.prediction == cluster1_pred).select("id")
# 半连接：只保留df中userId匹配cluster1_users.id的记录
cluster1_df = df.join(cluster1_users, df.userId == cluster1_users.id, "leftsemi").cache()

备选方案（仅适用于小数据量场景） #

如果cluster1_users的数据量极小，可以将id集合拉取到Driver端后用isin过滤：

# 将id列转换为Python集合
cluster1_ids = cluster1_users.rdd.map(lambda x: x.id).collect()
# 用isin筛选df中匹配的记录
cluster1_df = df.filter(df.userId.isin(cluster1_ids)).cache()

注意：此方案仅适合小数据量，collect()会将数据拉取到Driver端内存，数据量大时会引发内存溢出

内容的提问来源于stack exchange，提问作者ToegapBananaboat