使用PySpark Pandas时遭遇PandasNotImplementedError错误求助

错误原因 #

• 核心问题：np.where会尝试迭代PySpark Pandas的Series对象，但PySpark Pandas的Series是分布式数据结构，不支持__iter__方法（这是numpy函数依赖的迭代接口），因此抛出PandasNotImplementedError。
• 附加语法错误：你的np.where调用存在括号错位，正确的参数格式应为np.where(条件, 满足条件时的值, 不满足条件时的值)，原代码多了一个右括号。

解决方法 #

方法一：使用PySpark Pandas原生方法（推荐，适配分布式场景） #

PySpark Pandas提供了兼容的where方法，无需依赖numpy，直接在分布式环境中执行：

import pyspark.pandas as ps

# 修正语法错误，同时替换np.where为ps.where
df_mas = spark.read.format("csv").option("header", "true").load(driver.config["OutputFiles"])
df = df_mas.pandas_api()
# 使用ps.where，参数顺序与np.where一致
df["MAUS"] = ps.where(df.MAUS == "NHTT", "MHINC", df.MAUS)
display(df)

方法二：仅针对小数据集——将数据拉到本地处理（不推荐大数据场景） #

如果数据集很小，可以先将Series转换为本地numpy数组再使用np.where，但会把分布式数据拉到driver节点，可能导致内存不足：

import pyspark.pandas as ps
import numpy as np

df_mas = spark.read.format("csv").option("header", "true").load(driver.config["OutputFiles"])
df = df_mas.pandas_api()
# 先将Series转为本地numpy数组
maus_np = df.MAUS.to_numpy()
df["MAUS"] = np.where(maus_np == "NHTT", "MHINC", maus_np)
display(df)

内容的提问来源于stack exchange，提问作者marjun