PySpark中如何基于现有DataFrame与筛选条件创建临时DataFrame?
PySpark 按指定字段规则筛选生成临时DataFrame的实现方案
核心实现逻辑
PySpark的DataFrame筛选操作是延迟执行的转换逻辑,执行筛选生成临时数据集时,不会改动原始DataFrame的存储内容,完全符合临时数据与原数据隔离的开发规范。针对示例中筛选id=101的场景,生产环境常用两种可直接落地的实现写法:
- 字段对象匹配写法
直接绑定DataFrame的字段做等值判断,兼容性覆盖所有PySpark版本,不会出现字段名解析报错,实现代码为:temp_df = df.filter(df["id"] == 101) - SQL表达式匹配写法
利用PySpark支持字符串语法的特性,写法和常规SQL查询逻辑保持一致,后续如果要扩展多条件拼接、复杂判断的逻辑也更好维护,实现代码为:temp_df = df.where("id = 101")
结果校验
执行任意一种实现生成的temp_df,会完全匹配需求输出的仅保留id=101对应行的结果,原始DataFrame仍然存储全部3条初始记录,不会因为筛选操作发生数据篡改。
内容的提问来源于stack exchange,提问作者Shivam Patel
相关产品推荐
相关产品推荐

