Spark读取CSV文件无法识别分隔符的问题排查与解决

问题根源 #

PySpark读取CSV时默认使用逗号（,）作为分隔符，而pandas会自动尝试识别CSV的实际分隔符（比如分号、制表符等），这是两者表现差异的核心原因。另外，如果CSV里存在用引号包裹的字段，且字段内部包含分隔符，Spark默认的解析规则可能无法正确识别，导致字段被错误拆分。

修复步骤 #

1. 指定匹配的分隔符 #

先确认你的CSV实际使用的分隔符（比如分号;、制表符\t），然后在读取时通过sep参数明确指定：

• 分号分隔的示例：

df = spark.read.csv("你的文件路径.csv", sep=";", header=True, inferSchema=True)

• 制表符分隔的示例：

df = spark.read.csv("你的文件路径.csv", sep="\t", header=True, inferSchema=True)

2. 处理带引号的字段 #

如果CSV中有用双引号包裹的字段，且字段内部包含分隔符，需要显式配置引号解析参数，确保Spark能正确识别完整字段：

df = spark.read.csv(
    "你的文件路径.csv",
    sep=",",
    header=True,
    inferSchema=True,
    quote='"',  # 指定引号字符
    escape='"'   # 指定转义字符，处理字段内的引号
)

3. 手动定义Schema（可选） #

如果自动推断字段类型导致显示异常，可以手动定义Schema来强制指定各字段类型：

from pyspark.sql.types import StructType, StructField, StringType, FloatType

# 自定义Schema，根据你的CSV字段调整
custom_schema = StructType([
    StructField("字段1", StringType(), nullable=True),
    StructField("字段2", FloatType(), nullable=True),
    # 添加其他字段...
])

df = spark.read.csv("你的文件路径.csv", sep=";", header=True, schema=custom_schema)

内容的提问来源于stack exchange，提问作者llgx 10