Spark读取含缺失列标题的CSV时，如何避免列名后自动加数字？

问题原因 #

Spark的CSV读取器在解析包含空列名的表头时，会对非空的后续列名自动追加其在原始表头中的索引值（从0开始），以此来规避潜在的列名冲突。比如你的案例中，Address是第3个索引位（0:Name、1:Customer、2:空列、3:Address），所以被命名为Address3；Pin是第4个索引位，被命名为Pin4。

解决方案 #

方案1：手动处理表头后读取数据

先单独读取表头行，手动为空列分配自定义名称，再用处理后的列名重命名DataFrame：

# 读取表头行
header_line = spark.sparkContext.textFile("your_file.csv").first()
# 按分隔符拆分表头（注意分隔符要和读取CSV时一致，你的案例是|）
raw_headers = [h.strip() for h in header_line.split("|")]
# 处理空列名，为空列分配类似unknown_索引的名称
processed_headers = [
    header if header else f"unknown_{idx}" 
    for idx, header in enumerate(raw_headers)
]

# 读取CSV数据
df = spark.read.csv(
    "your_file.csv",
    sep="|",
    header=True,
    inferSchema=True  # 根据需求设置是否自动推断字段类型
)

# 用处理后的列名重命名DataFrame
df = df.toDF(*processed_headers)

方案2：自定义Schema读取

如果提前明确列的数量和数据类型，可以直接定义StructType，指定每一列的名称（包括给空列命名），读取时直接使用该Schema：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType

# 自定义Schema，对应你的CSV列：Name、Customer、空列、Address、Pin
custom_schema = StructType([
    StructField("Name", StringType(), nullable=True),
    StructField("Customer", StringType(), nullable=True),
    StructField("unknown_2", StringType(), nullable=True),  # 给缺失的列命名
    StructField("Address", StringType(), nullable=True),
    StructField("Pin", IntegerType(), nullable=True)  # 如果Pin是数字类型可改为IntegerType
])

# 使用自定义Schema读取CSV
df = spark.read.csv(
    "your_file.csv",
    sep="|",
    header=True,
    schema=custom_schema
)

两种方案都能避免Spark自动给列名追加数字的问题，保持后续列名与原始表头一致。

内容的提问来源于stack exchange，提问作者Rajat Sharma