Spark DataFrame.as[]函数映射case class时未丢弃目标类不存在的列

Spark的.as[]方法本质是类型安全的视图映射，而非主动执行Schema裁剪的算子，你遇到的现象是该方法的设计特性而非Bug，实际执行逻辑可以拆解为3个核心规则：

• 仅做存在性校验，不主动裁剪Schema
  转换时只会校验目标case class中定义的所有字段是否在源DataFrame的Schema中存在、对应字段类型是否兼容，不会主动删除源Schema中多出的字段。你的示例中源DF有id、name两个字段，NewPerson要求的id字段存在且类型匹配，所以校验直接通过，底层存储保留所有原始字段，这就是你调用show或打印Schema时还能看到name字段的原因。
• 类型约束仅在编译期操作时生效
  当你对as[NewPerson]转换后的Dataset做面向对象的类型操作时，类型约束会直接生效。比如你尝试执行ds.map(_.name)，编译器会直接抛出错误，提示NewPerson类不存在name属性，这就是.as[]方法的核心价值：给原本无编译期类型校验的DataFrame加上类型安全能力，提前拦截字段名写错、类型不匹配等问题。
• 如需裁剪字段需要主动触发
  如果你希望最终的Dataset底层仅保留目标类型定义的字段，需要在执行as[]转换前手动选择需要的列，你的示例调整为如下写法即可实现预期效果：

  val ds = df.select("id").as[NewPerson]
  

内容的提问来源于stack exchange，提问作者Young