使用PySpark DataFrame API统计含指定字符串的文本行数方法
错误代码根因
你之前的实现存在两处逻辑偏差,导致最终返回全表行数:
- Spark 用
read.text加载文本时,生成的DataFrame仅包含名为value的单列,存储每行的完整文本内容;而你写的lines.isin(listStr)是直接对DataFrame对象调用isin方法,没有绑定到具体的列,根本没有生成有效的过滤规则。 - 就算修正为对列调用
isin,isin的匹配规则是整行内容与列表中的某一项完全相等,并非“包含目标字符串”,和你的统计需求不匹配。另外Windows路径写法"C:\test.txt"里的反斜杠会被Python识别为转义符,存在文件读取失败的潜在问题,需要改成原生字符串写法r"C:\test.txt"或正斜杠路径"C:/test.txt"。
可运行实现方案(优先支持lambda写法)
- 方案1:结合lambda逻辑的实现(贴合你提出的lambda优先需求)
纯DataFrame算子无法直接嵌入Python lambda逻辑,可通过DataFrame的底层RDD接口实现lambda判断,代码可读性对新手更友好:from pyspark.sql import SparkSession spark = SparkSession.builder.getOrCreate() # 修正路径写法,避免转义问题 lines = spark.read.text(r"C:\test.txt") listStr = ["testA", "testB", "testC"] matched_row_count = ( lines.rdd # lambda逐行判断:只要行内容包含任意目标字符串即保留 .filter(lambda row: any(keyword in row["value"] for keyword in listStr)) .count() ) - 方案2:纯DataFrame原生API实现(执行性能更优)
不使用lambda,直接用DataFrame内置的正则匹配算子实现同等逻辑,避免RDD转换的性能损耗:from pyspark.sql.functions import col # 用|拼接目标字符串构造正则,匹配任意包含目标词的行 match_rule = col("value").rlike("|".join(listStr)) matched_row_count = lines.filter(match_rule).count()
注意:如果目标字符串里包含正则特殊字符(比如
.、*),需要在拼接前对每个目标词做正则转义,避免匹配逻辑偏差。
内容的提问来源于stack exchange,提问作者gogreen
相关产品推荐
相关产品推荐

