如何将Java POJO列表序列化为RecordIO？求替代BeanIO的方案

针对你要把Java POJO列表序列化成RecordIO格式用于SageMaker训练的需求，这里有几个实用的替代方案，不用依赖过时的BeanIO：

1. AWS SDK for Java + Protobuf（推荐，贴合SageMaker生态） #

SageMaker官方对Protobuf格式的RecordIO支持非常完善，这也是生产环境中最常用的方案。步骤如下：

• 先为你的POJO定义对应的Protobuf .proto 文件，通过protoc工具生成Java绑定类
• 遍历POJO列表，将每个对象转换成Protobuf消息实例
• 利用AWS提供的工具（或自定义逻辑）将Protobuf消息打包成RecordIO格式

这个方案的优势在于完全适配SageMaker的训练流程，官方维护，兼容性拉满，后续调试和维护都更省心。

2. 自定义RecordIO序列化（轻量可控） #

RecordIO的格式其实很简单：每个记录前先写入4字节大端序的整数（表示该记录的字节长度），再紧跟记录内容。你可以自己实现这个逻辑，配合Jackson将POJO转成JSON字节（JSON格式在SageMaker中通用性很强）：

import com.fasterxml.jackson.databind.ObjectMapper;
import java.io.DataOutputStream;
import java.io.FileOutputStream;
import java.util.List;

public class RecordIOWriter {
    private static final ObjectMapper OBJECT_MAPPER = new ObjectMapper();

    public static void writePojosToRecordIO(List<YourPOJO> pojoList, String outputFilePath) throws Exception {
        try (FileOutputStream fos = new FileOutputStream(outputFilePath);
             DataOutputStream dos = new DataOutputStream(fos)) {

            for (YourPOJO pojo : pojoList) {
                // 将POJO序列化为JSON字节数组
                byte[] recordBytes = OBJECT_MAPPER.writeValueAsBytes(pojo);
                // 写入4字节大端序的记录长度
                dos.writeInt(recordBytes.length);
                // 写入记录内容
                dos.write(recordBytes);
            }
        }
    }
}

这个方案不需要引入额外的重型依赖，代码逻辑清晰，完全可控，而且生成的标准RecordIO格式可以直接被SageMaker的Python训练脚本用sagemaker.amazon.common.read_records读取。

3. 借助Apache Arrow（适合大数据场景） #

如果你的POJO列表数据量很大，Apache Arrow的列式存储格式配合RecordIO会更高效。你可以先将POJO列表转换成Arrow的RecordBatch，再序列化成RecordIO格式。这个方案适合大规模数据的训练场景，性能表现更优，但相对来说学习成本稍高。

内容的提问来源于stack exchange，提问作者ljl97114