Spark DataFrame替换\N字符遇Unicode转义错误的技术问询

示例数据 #

resultId,raceId,driverId,fastestLapTime  
1,      18,      1,        01:27.5  
2,      18,      2,        01:27.7  
3,      18,      3,          \N  
4,      18,      4,        01:28.9  
5,      18,      5,          \N  
6,      18,      6,          \N 

需求 #

将DataFrame中fastestLapTime列的\N字符串替换为-100。

问题代码与错误 #

尝试执行以下代码：

result_df.withColumn('fastestLapTime', regexp_replace('fastestLapTime', '\N', '-100')).show(1)

触发错误：

(unicode error) 'unicodeescape' codec can't decode bytes in position 0-1: malformed \N character escape  

原因分析 #

1. Python层面：\N是不完整的Unicode转义序列（正确格式为\N{UNICODE_NAME}），Python解释器会尝试解析它，导致转义错误。
2. 正则层面：Spark的regexp_replace使用正则表达式，\在正则中是转义符，要匹配字面量\必须额外转义。

解决方案 #

方法1：使用原始字符串 #

在正则模式前加r，让Python直接将字符串作为字面量处理，避免转义解析，同时正则中用\\N匹配字面量\N：

result_df.withColumn('fastestLapTime', regexp_replace('fastestLapTime', r'\\N', '-100')).show()

方法2：双重转义\ #

在Python字符串中用\\\\表示字面量\\，正则中再用\\转义N，最终匹配\N：

result_df.withColumn('fastestLapTime', regexp_replace('fastestLapTime', '\\\\N', '-100')).show()

方法3：读取数据时直接处理（推荐） #

如果\N是CSV文件中的NULL标识，读取时指定nullValue参数自动解析为Spark的null，再用fillna填充：

# 读取CSV时解析\N为null
result_df = spark.read.csv('data.csv', header=True, nullValue='\\N')
# 将null填充为-100
result_df = result_df.fillna('-100', subset=['fastestLapTime'])

内容的提问来源于stack exchange，提问作者zeeshan12396