使用Java Spark Encoder Bean转换Dataset<Row>未获预期列数的问题

你的核心误区 #

你误解了Encoders.bean()的作用：它不是用来裁剪列或修改Dataset schema的，只是给Dataset绑定一个Java Bean类型的映射规则——让Spark知道后续操作中，可以把Row数据转换成MyBean实例，但原Dataset的所有列都会被保留，不会自动过滤掉Bean中没有定义的列。

为什么show还是显示57列 #

原Dataset<Row>包含57列，调用ds.as(Encoders.bean(MyBean.class))后，Dataset的schema并没有发生变化，依然保留全部57列。当你访问MyBean对象时，Spark只会将与Bean字段名匹配的col1/col2/col3赋值到Bean实例中，其余列会被忽略，但show()方法是直接输出Dataset的所有列，所以还是会显示57列。

正确的做法 #

要得到只包含3列的Dataset<MyBean>，必须先显式选择需要的列，再进行类型转换：

Dataset<MyBean> beanDs = ds.select("col1", "col2", "col3")
                          .as(Encoders.bean(MyBean.class));
beanDs.show(); // 此时会显示3列

补充说明 #

提前调用cache().count()没用，因为这两个操作只是触发计算或缓存数据，不会修改Dataset的schema结构，所以列数不会变化。

内容的提问来源于stack exchange，提问作者Calimero