Spark中JavaRDD转DataFrame写入Parquet如何仅保留指定属性

按改造成本从低到高排序，可根据实际业务场景直接选用：

方案1：直接删除不需要的字段（适合不需要的字段数量远小于保留字段数的场景） #

不需要手动枚举上百个要保留的字段，用反射创建全字段DataFrame后，只需要把明确不需要的字段通过drop()方法删掉即可，写入Parquet时只会保留剩余字段：

// 原有创建DF的逻辑不用改
Dataset<Row> fullDf = sqlContext.createDataFrame(emprdd, Employee.class);
// 仅需列出所有要排除的字段，其余字段自动保留
Dataset<Row> targetDf = fullDf.drop("address").drop("pipe");
// 直接写入Parquet
targetDf.write().parquet(outputPath);

实用细节：你Bean里定义的final String pipe = "|"是实例级常量，会被Spark反射识别为普通字段。如果这个值是全局固定的，直接加static修饰符改成静态常量，Spark反射时会自动忽略静态字段，从根源上避免这类常量被加载到Schema中。

方案2：自定义BeanInfo控制字段识别范围（适合保留字段少、字段列表固定的场景） #

Spark反射生成JavaBean Schema时，底层依赖JDK的JavaBeanIntrospector获取类属性，只要给Bean类编写对应BeanInfo实现，就能精准控制哪些字段会被Spark识别，不需要修改原有Bean的业务代码，也不需要后续做drop/select操作：

1. 在Employee类的同包下新建EmployeeBeanInfo类，重写属性描述逻辑，只暴露需要保留的字段：

import java.beans.*;

public class EmployeeBeanInfo extends SimpleBeanInfo {
    @Override
    public PropertyDescriptor[] getPropertyDescriptors() {
        try {
            // 仅在这里列出需要保留的字段即可
            PropertyDescriptor id = new PropertyDescriptor("id", Employee.class);
            PropertyDescriptor name = new PropertyDescriptor("name", Employee.class);
            PropertyDescriptor depart = new PropertyDescriptor("depart", Employee.class);
            return new PropertyDescriptor[]{id, name, depart};
        } catch (IntrospectionException e) {
            throw new RuntimeException("Init Employee BeanInfo failed", e);
        }
    }

    // 以下方法直接返回null即可，不影响字段识别
    @Override public BeanInfo[] getAdditionalBeanInfo() {return null;}
    @Override public EventSetDescriptor[] getEventSetDescriptors() {return null;}
    @Override public MethodDescriptor[] getMethodDescriptors() {return null;}
    @Override public int getDefaultEventIndex() {return -1;}
    @Override public int getDefaultPropertyIndex() {return -1;}
}

2. 配置完成后，再调用sqlContext.createDataFrame(emprdd, Employee.class)时，Spark会自动读取这个BeanInfo，生成的DF只会包含你定义的三个字段，其余字段全部自动忽略，直接写入Parquet即可。

方案3：动态提取字段自动构造Schema（适合保留字段和已有业务逻辑绑定、后续可能频繁调整的场景） #

从你的示例看，需要保留的字段和toString()方法中拼接的字段完全一致，如果实际业务中保留字段的规则和某个已有方法（比如序列化方法、toString方法）的引用字段一致，可以通过字节码解析自动提取需要的字段，全程不用硬编码任何字段名：

1. 用ASM、Javassist等字节码工具解析目标方法（比如示例中的toString）的字节码，提取方法内引用的所有实例字段，过滤掉静态字段、常量字段，得到需要保留的字段列表
2. 将原有JavaRDD<Employee>转换为JavaRDD<Row>，按提取到的字段列表从Employee实例中取值构造Row对象
3. 根据字段列表动态生成对应的StructType Schema，调用sqlContext.createDataFrame(rowRdd, schema)生成目标DF即可

这个方案的优势是后续Bean字段调整、目标方法逻辑修改时，不需要改动DF转换的代码，自动适配新的字段规则，维护成本极低。

选型参考 #

• 不需要的字段只有个位数时，优先选方案1，改造成本几乎为0
• 保留字段数量少、长期固定不调整，选方案2，一次配置后不需要额外处理
• 保留字段和已有业务逻辑强绑定、后续变动频繁，选方案3，长期维护成本最低

内容的提问来源于stack exchange，提问作者John Humanyun