You need to enable JavaScript to run this app. 使用PySpark DataFrame API统计含指定字符串的文本行数方法
优惠活动
大模型
产品
解决方案
定价
更多

使用PySpark DataFrame API统计含指定字符串的文本行数方法

错误代码根因

你之前的实现存在两处逻辑偏差,导致最终返回全表行数:

  1. Spark 用read.text加载文本时,生成的DataFrame仅包含名为value的单列,存储每行的完整文本内容;而你写的lines.isin(listStr)是直接对DataFrame对象调用isin方法,没有绑定到具体的列,根本没有生成有效的过滤规则。
  2. 就算修正为对列调用isin,isin的匹配规则是整行内容与列表中的某一项完全相等,并非“包含目标字符串”,和你的统计需求不匹配。另外Windows路径写法"C:\test.txt"里的反斜杠会被Python识别为转义符,存在文件读取失败的潜在问题,需要改成原生字符串写法r"C:\test.txt"或正斜杠路径"C:/test.txt"。
可运行实现方案(优先支持lambda写法)
  • 方案1:结合lambda逻辑的实现(贴合你提出的lambda优先需求)
    纯DataFrame算子无法直接嵌入Python lambda逻辑,可通过DataFrame的底层RDD接口实现lambda判断,代码可读性对新手更友好:
    from pyspark.sql import SparkSession
    
    spark = SparkSession.builder.getOrCreate()
    # 修正路径写法,避免转义问题
    lines = spark.read.text(r"C:\test.txt")
    listStr = ["testA", "testB", "testC"]
    
    matched_row_count = (
        lines.rdd
        # lambda逐行判断:只要行内容包含任意目标字符串即保留
        .filter(lambda row: any(keyword in row["value"] for keyword in listStr))
        .count()
    )
    
  • 方案2:纯DataFrame原生API实现(执行性能更优)
    不使用lambda,直接用DataFrame内置的正则匹配算子实现同等逻辑,避免RDD转换的性能损耗:
    from pyspark.sql.functions import col
    
    # 用|拼接目标字符串构造正则,匹配任意包含目标词的行
    match_rule = col("value").rlike("|".join(listStr))
    matched_row_count = lines.filter(match_rule).count()
    

注意:如果目标字符串里包含正则特殊字符(比如.、*),需要在拼接前对每个目标词做正则转义,避免匹配逻辑偏差。


内容的提问来源于stack exchange,提问作者gogreen

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.05 18:15:06