Java Apache Beam测试管道传递到DoFn的测试数据变为null如何解决

该问题是Apache Beam/Dataflow管道中自定义对象序列化/反序列化失败导致的，常见触发原因如下：

• DataflowMessage自定义类未满足Beam序列化要求：
  • 类本身或其成员字段对应的类未实现Serializable接口
  • 字段被transient关键字修饰，序列化阶段会直接忽略这类字段，反序列化后默认赋值为null
  • 未提供无参构造方法，Java原生序列化、Kryo等Beam常用序列化框架反序列化时无法正确初始化对象
  • 为非静态内部类，隐式持有外部类引用，若外部类未实现序列化会导致序列化流程异常
• Beam自动推断的Coder不匹配：Create.of生成PCollection时自动推断的Coder和DataflowMessage类结构不匹配，导致序列化过程丢失字段信息

• 首先修正DataflowMessage的序列化适配：
  1. 给DataflowMessage类添加implements Serializable声明，同时确保所有成员字段对应的类也实现序列化接口
  2. 移除字段上不必要的transient修饰符
  3. 显式添加公共无参构造方法，使用Lombok的场景可直接添加@NoArgsConstructor注解
  4. 若DataflowMessage是内部类，需添加static修饰改为静态内部类
• 显式指定PCollection的Coder，避免自动推断错误：

Pipeline pipeline;
PipelineOptions pipelineOptions = TestPipeline.testingPipelineOptions();
pipeline = Pipeline.create(pipelineOptions);

FlattenLight flattenLight = new FlattenLight();
DataflowMessage dataflowMessage = getTestDataflowMessage();

// 显式指定Coder
PCollection<DataflowMessage> inputPcol = pipeline
  .apply("Create Input", Create.of(dataflowMessage)
    .withCoder(SerializableCoder.of(DataflowMessage.class)));
PCollection<TableRow> flattened = inputPcol.apply(ParDo.of(flattenLight));

• 若仅做FlattenLight的单元测试，可直接使用DoFnTester工具绕开管道序列化流程，提升测试效率：

// 直接初始化DoFn测试工具
DoFnTester<DataflowMessage, TableRow> fnTester = DoFnTester.of(new FlattenLight());
// 传入测试数据直接执行process逻辑
List<TableRow> outputResults = fnTester.processBundle(getTestDataflowMessage());
// 直接校验输出结果即可

内容的提问来源于stack exchange，提问作者sg_rs