PySpark使用RDD map()转换DataFrame时出现AttributeError('_jvm')错误的解决请求及rlike替代方案问询

你遇到的这个错误，核心原因是在RDD的map操作里混用了PySpark的SQL函数——像F.col、F.when还有rlike这些都是为DataFrame API设计的，它们依赖SparkSession的JVM上下文才能正常工作。但RDD的map是在Python本地执行的，此时Spark的上下文无法被正确访问，所以才会抛出AttributeError: 'NoneType' object has no attribute '_jvm'。

既然你明确要求必须用RDD的map转换，那我们可以用Python原生的正则表达式来替代PySpark的rlike，实现完全一致的匹配逻辑。下面是修正后的完整代码：

from pyspark.sql import SparkSession
import re  # 导入Python标准库的正则模块

spark = SparkSession.builder.appName('SparkByExamples.com').getOrCreate();
data = [("Sunday",20000), ("734",1000), ("Fruday",5001),("Tuesday",17000)]
columns = ["day","users_count"]
df = spark.createDataFrame(data=data, schema=columns)

# 定义和原rlike规则一致的正则模式，预编译提升性能
pattern = r'^(Sun|Mon|Tues|Wednes|Thurs|Fri|Satur)day$'
regex = re.compile(pattern)

def func1(x):
    day = x.day
    users_count = x.users_count
    # 用Python原生正则匹配替代PySpark的rlike
    cond1 = "Success" if regex.match(day) else "Error"
    return (day, users_count, cond1)  # 原代码里的`id`变量未定义，这里已经移除

rdd2 = df.rdd.map(lambda x: func1(x))
Columns = ["day","users_count","cond1"]
dffinal = rdd2.toDF(Columns)
dffinal.show()

关键修正点说明： #

• 替换了PySpark SQL函数：用Python标准库的re模块实现正则匹配，完全脱离对Spark SQL上下文的依赖
• 修复了语法错误：原代码return语句里的id变量未定义，会导致额外的NameError，这里已经移除
• 保持逻辑一致：正则模式和你原来的rlike规则完全相同，确保输出结果符合预期

运行修正后的代码，你会得到正确的输出：

+-------+-----------+-------+
|    day|users_count|  cond1|
+-------+-----------+-------+
| Sunday|      20000|Success|
|    734|       1000|  Error|
| Fruday|       5001|  Error|
|Tuesday|      17000|Success|
+-------+-----------+-------+

额外小提示 #

如果没有强制要求使用RDD，其实更推荐用DataFrame原生API来实现，性能更好代码也更简洁：

import pyspark.sql.functions as F

pattern = r'^(Sun|Mon|Tues|Wednes|Thurs|Fri|Satur)day$'
df_final = df.withColumn("cond1", F.when(F.col("day").rlike(pattern), "Success").otherwise("Error"))
df_final.show()

内容的提问来源于stack exchange，提问作者AAA6