PySpark 2.4.0：RDD映射处理文件行时出现随机浮点解析异常

这种随机出现的解析错误确实挺头疼的，尤其是错误里的数值根本不在原文件里，大概率是文件混入了隐形脏数据、读取配置不当，或者源码编译的Spark存在潜在问题，给你几个排查和解决的思路：

1. 先排查文件本身的脏数据 #

错误里出现的\x00是空字节，这是典型的二进制垃圾数据，大概率是文件在生成、传输或存储过程中混入的。你可以用命令行工具快速检查：

• 查找文件中的空字节：grep -n "\x00" your_vector_file.txt，这会列出所有包含空字节的行号和内容
• 如果确认有脏数据，先预处理清理：sed 's/\x00//g' your_vector_file.txt > cleaned_vector_file.txt，直接去掉所有空字节；如果还有其他异常字符，可以用Python脚本过滤掉包含非有效浮点字符的行

2. 调整Spark读取配置，增强容错性 #

默认的文本读取器对脏数据的容错性较差，建议改用CSV读取器（如果向量是用分隔符分隔的），并配置错误处理模式：

Python示例代码： #

df = spark.read \
    .option("sep", ",")  # 根据你的向量分隔符调整，比如空格就设为" "
    .option("encoding", "UTF-8")  # 指定正确的文件编码，避免编码解析错误
    .mode("DROPMALFORMED")  # 直接丢弃解析失败的行，也可以用"PERMISSIVE"将错误字段设为null
    .csv("your_vector_file.txt")

Scala示例代码： #

val df = spark.read
    .option("sep", ",")
    .option("encoding", "UTF-8")
    .mode("DROPMALFORMED")
    .csv("your_vector_file.txt")

3. 自定义解析逻辑，手动处理异常 #

如果上述方法还不行，可以自定义UDF来做更灵活的解析，提前清理脏数据并捕获异常：

Python示例： #

from pyspark.sql.functions import udf
from pyspark.sql.types import ArrayType, FloatType

def safe_parse_vector(line):
    try:
        # 先清理掉所有空字节和可能的异常字符
        cleaned_line = line.replace('\x00', '').strip()
        # 按分隔符拆分并转换为浮点型
        return [float(val) for val in cleaned_line.split(',')]
    except ValueError:
        # 解析失败时返回None，后续可以过滤掉这些行
        return None

# 注册UDF
parse_vector_udf = udf(safe_parse_vector, ArrayType(FloatType()))

# 读取文本并解析
df = spark.read.text("your_vector_file.txt") \
    .select(parse_vector_udf("value").alias("vector")) \
    .filter("vector is not null")  # 过滤解析失败的行

4. 排查源码编译的Spark问题 #

因为你用的是自行编译的Spark 2.4.0，有可能是编译过程中依赖版本不兼容或配置错误导致的：

• 检查编译时的Java版本：Spark 2.4.0要求Java 8，确保你用的是符合要求的版本
• 尝试用官方预编译的Spark 2.4.0版本测试，如果官方版本没有问题，那大概率是你编译时的配置或依赖出了问题

内容的提问来源于stack exchange，提问作者Giuseppe C