PySpark结合isin()通过filter过滤停用词及SparkContext冲突问题咨询
PySpark 开发场景下的常见操作问题解答
多SparkContext重复创建报错的解决
报错原文:
ValueError: Cannot run multiple SparkContexts at once; existing SparkContexts created by GetOrCreate()
- 触发原因:PySpark的交互式环境(pyspark-shell、配置好内核的Jupyter、云端分析Notebook)会在启动时自动创建全局唯一的SparkContext实例,手动执行
sc = SparkContext(...)会尝试新建第二个实例,直接触发冲突报错 - 解决规则:
- 禁止重复手动初始化SparkContext,统一通过
SparkSession.builder.getOrCreate()获取全局已存在的会话实例,需要使用底层sc时直接从SparkSession实例中取spark.sparkContext即可 - 不要硬编码固定的Spark初始化参数(比如固定appName为"first app"),交互式环境下默认的初始化配置已经满足本地调试需求
- 禁止重复手动初始化SparkContext,统一通过
filter算子结合isin()的用法验证
- 逻辑合理性:
~列.isin(停用词列表)的逻辑是完全成立的,作用是筛选出列值不在停用词集合中的记录,符合停用词过滤的业务目标 - 常见用法错误:
- 误把Python内置的
filter()函数和PySpark的DataFrame方法混用:PySpark的filter是DataFrame的成员方法,调用形式为df.filter(条件表达式),不是独立的全局filter函数 - 未指定操作列:不能直接对整个DataFrame调用
isin(),必须通过col("目标列名")明确指定要做判断的列
- 误把Python内置的
- 分词环节的操作修正:DataFrame本身没有split方法,
split()是字符串列的列函数,需要先指定待分词的文本列,将切分后的词数组通过explode()炸开为逐行的单词条目,才能对接后续的过滤逻辑
初始化规则说明
- 不需要手动定义sqlContext:PySpark 2.0版本之后,原有的SQLContext、HiveContext能力已经全部整合到SparkSession中,不存在调用
createDataFrame()前必须先初始化sqlContext的要求 - 不需要手动通过
SparkContext("local", "first app")强制初始化:交互式环境下默认的SparkContext已经全局可用,手动强制初始化反而会触发多实例冲突 - 逻辑层级修正:SparkContext是底层资源调度组件,不具备读取CSV、创建DataFrame的高层API能力,所有DataFrame相关操作的入口都是SparkSession实例
修正后的可运行示例代码
from pyspark.sql import SparkSession from pyspark.sql.functions import split, col, explode # 全局唯一的会话实例,自动复用已有上下文,避免重复初始化 spark = SparkSession.builder.getOrCreate() # 从会话中获取底层SparkContext,无需手动创建 sc = spark.sparkContext # 读取CSV文件 df = spark.read.csv("StormEvents.csv", header=True, inferSchema=True) # 对指定文本列分词:空格切分词数组后炸开为逐行单词 word_df = df.withColumn( "word_item", explode(split(col("storm_text"), " ")) ) # 停用词列表 stopwords = ["i", "me", "my", "myself"] # 过滤停用词:取反isin结果,保留非停用词条目 filtered_words = word_df.filter( ~col("word_item").isin(stopwords) )
内容的提问来源于stack exchange,提问作者Data Science Analytics Manager
相关产品推荐
相关产品推荐

