如何正确遍历PySpark DataFrame列值并检测指定子字符串

需求1：新增标记列判断address是否包含"india" #

直接用PySpark内置的contains()函数就能实现子串检查，无需手动遍历字符。contains()会直接判断字符串列是否包含指定子串，返回布尔值。

示例代码：

from pyspark.sql import functions as F

# 假设你的DataFrame名为df
df = df.withColumn("is_india", F.col("address").contains("india"))

如果需要忽略大小写判断，可以先转换字符串大小写再检查：

df = df.withColumn("is_india", F.lower(F.col("address")).contains("india"))

需求2：检查每行address是否包含"india"或"karnataka"并输出结果 #

PySpark优先推荐用函数式操作处理数据（避免破坏分布式计算优势），可以通过when()结合contains()和逻辑或运算符|实现：

df = df.withColumn("result", 
    F.when(F.col("address").contains("india") | F.col("address").contains("karnataka"), "yes")
      .otherwise("no")
)
# 查看结果可调用show()
df.select("address", "result").show()

如果确实需要遍历每一行（仅建议用于调试场景），需先将行转换为Python对象，再用Python原生的子串判断逻辑：

for row in df.collect():
    address = row.address
    if "india" in address or "karnataka" in address:
        print("yes")
    else:
        print("no")

注意：collect()会把整个DataFrame拉到Driver节点，数据量大时禁止使用，优先选择函数式操作。

你之前出现逐个字符检查的问题，大概率是错误遍历了字符串的单个字符，或是误用了字符级别的判断逻辑，改用上述contains()函数即可直接实现子串匹配。

内容的提问来源于stack exchange，提问作者user19929902