如何定义自定义Schema读取CSV？指定部分列时值列不匹配问题

问题根源 #

你遇到的列不对应，是因为多数数据处理工具（比如Spark、Pandas）默认按CSV原始列的顺序匹配自定义Schema的列，而不是按列名匹配。比如CSV列顺序是A→B→C→D，你定义Schema要B和D，工具会把A的值塞给Schema的第一列（你以为的B），把B的值塞给Schema的第二列（你以为的D），自然错位。

解决方法（按常见工具分类） #

• Pandas场景：
  最省心的方式是直接用usecols指定要提取的列名，工具会自动按名称匹配，不用纠结顺序：

  import pandas as pd
  # 替换成你需要的列名
  df = pd.read_csv("your_csv_file.csv", usecols=["GARDEN_NAME", "BOROUGH", "ZIPCODE"])
  

  如果需要指定列的数据类型，结合dtype参数即可：

  df = pd.read_csv(
      "your_csv_file.csv",
      usecols=["GARDEN_NAME", "ZIPCODE"],
      dtype={"GARDEN_NAME": str, "ZIPCODE": int}
  )
  

• Spark场景：
  方法1：先读取全量列，再选择目标列，简单不易错：

  df = spark.read.csv("your_csv_file.csv", header=True, inferSchema=True)
  # 按列名选择需要的列
  df_selected = df.select("GARDEN_NAME", "BOROUGH", "ZIPCODE")
  

  方法2：必须用自定义Schema的话，要保证Schema的列顺序和CSV中目标列的原始顺序完全一致，同时开启header=True让工具识别列名，避免错位：

  from pyspark.sql.types import StructType, StructField, StringType, IntegerType
  
  # 假设你要取CSV中第2列（GARDEN_NAME）、第5列（BOROUGH），Schema顺序要和这个位置对应
  custom_schema = StructType([
      StructField("GARDEN_NAME", StringType(), True),
      StructField("BOROUGH", StringType(), True)
  ])
  
  df = spark.read.csv(
      "your_csv_file.csv",
      schema=custom_schema,
      header=True,
      enforceSchema=True
  )
  

关键提醒 #

不管用哪种工具，优先按列名匹配而不是按位置匹配，能彻底避免列错位问题。除非你能100%确定CSV的列顺序永远不会变，否则按位置匹配的容错性极低。

内容的提问来源于stack exchange，提问作者Rui