如何在PySpark Pandas API中按条件删除DataFrame行

你需要实现「删除Age字段值在30到40区间（含边界）行」的效果，和给出的原生Pandas代码逻辑完全对齐，有两种可直接运行的写法：

写法1：对齐原生Pandas的drop索引逻辑 #

和你原有代码思路一致，先定位待删除行的索引再调用drop方法，注意PySpark Pandas不支持原生Pandas的inplace原地修改参数，需要重新赋值接收结果：

import pyspark.pandas as ps

# 假设ps_df是你的PySpark Pandas DataFrame
# 筛选待删除行的索引
drop_indexes = ps_df[(ps_df['Age'] >= 30) & (ps_df['Age'] <= 40)].index
# 执行删除操作，重新赋值给原变量
ps_df = ps_df.drop(drop_indexes)

写法2：更推荐的反向过滤写法（性能更优） #

分布式计算场景下，先取索引再删除会额外触发一轮索引计算，直接通过布尔条件取反保留需要的行，执行效率更高，效果和删除目标行完全一致：

# 保留Age不在[30,40]区间的行
ps_df = ps_df[~((ps_df['Age'] >= 30) & (ps_df['Age'] <= 40))]

# 也可以用between方法简化区间判断，逻辑完全相同
ps_df = ps_df[~ps_df['Age'].between(30, 40)]

注意事项 #

• 多条件组合时，每个独立判断条件必须用括号包裹，否则会因为Python运算符优先级问题触发报错，这点和原生Pandas要求一致
• PySpark Pandas的DataFrame是分布式惰性求值数据集，不存在本地Pandas的原地修改逻辑，所有转换操作的结果都需要通过变量重新赋值接收，不要使用inplace=True参数

内容的提问来源于stack exchange，提问作者hackerofjogos