PySpark读取含隐藏回车的布尔值CSV文件解析问题

方案1：读取后针对性清洗（无需修改原有Schema） #

既然已有完整Schema，直接按原Schema读取后，单独处理有问题的布尔列即可，不用把整个列改成String类型再转换：

• 按原Schema读取CSV文件：

from pyspark.sql import SparkSession
from pyspark.sql.functions import regexp_replace, col

spark = SparkSession.builder.appName("CleanBoolColumn").getOrCreate()
original_schema = ... # 你的200+列Schema
df = spark.read.schema(original_schema).csv("path/to/your/cloud/storage/file.csv")

• 对目标布尔列进行清洗：用regexp_replace去掉末尾的\r，再转回布尔类型，同时保留原始空值：

cleaned_df = df.withColumn(
    "mybool",
    regexp_replace(col("mybool").cast("string"), r"\r$", "").cast("boolean")
)

这个方法只需要修改目标列，不影响其他200多列的解析，效率高且不用改动原有Schema结构。

方案2：读取时直接处理换行符（从根源避免解析错误） #

如果CSV文件的隐藏回车是因为行尾格式混乱（比如混合Windows风格\r\n和Unix风格\n），可以在读取阶段直接处理：

• 启用忽略末尾空白字符的选项：该选项会自动处理包括\r在内的末尾空白字符，适用于全文件存在类似格式问题的场景

df = spark.read.schema(original_schema) \
    .option("ignoreTrailingWhiteSpace", "true") \
    .csv("path/to/your/file.csv")

• 指定正确的行分隔符：如果文件统一用\r\n作为行结尾，直接设置对应分隔符即可

df = spark.read.schema(original_schema) \
    .option("lineSep", "\r\n") \
    .csv("path/to/your/file.csv")

方案3：自定义布尔解析逻辑（进阶灵活方案） #

如果上述方法无法覆盖复杂脏数据场景，可以自定义解析函数处理目标列：

from pyspark.sql.types import BooleanType, StringType
from pyspark.sql.functions import udf

# 自定义解析函数：去除末尾\r后转换为布尔值，保留空值
def parse_bool_with_cr(value):
    if value is None:
        return None
    cleaned_value = value.rstrip("\r")
    return cleaned_value.lower() == "true"

# 注册UDF
parse_bool_udf = udf(parse_bool_with_cr, BooleanType())

# 临时修改目标列Schema为String类型读取，再用UDF转换回布尔类型
modified_schema = original_schema.copy()
modified_schema["mybool"] = StringType()

df = spark.read.schema(modified_schema).csv("path/to/your/file.csv")
cleaned_df = df.withColumn("mybool", parse_bool_udf(col("mybool")))

内容的提问来源于stack exchange，提问作者Cribber