Spark连接MongoDB显式指定Schema时DataFrame出现Null值求助

Hey there, sorry to hear you're stuck with this tricky issue! Let me break down the common causes and fixes for when your Spark Dataset returns all nulls after specifying a Java entity class as the schema, even though auto-inferred schema works fine.

问题回顾 #

当你用Spark连接MongoDB时，使用自动推断Schema的方式能正常看到所有字段值，但一旦通过Java实体类显式指定Schema后，Dataset里的所有值全部变成了Null。以下是你的代码片段：

public class MVTest { 
    public static void main(final String[] args) throws InterruptedException...

核心排查方向 #

我们逐一排查最可能导致这个问题的原因：

• 字段名称不匹配
  MongoDB常用蛇形命名（比如user_id），而Java实体类通常用驼峰命名（userId），Spark默认不会自动映射这种命名差异。解决方法是给实体类字段添加@Field注解指定对应MongoDB的字段名：

  @Field("user_id")
  private String userId;
  

  也可以配置spark.sql.caseSensitive为false（但要注意真实存在大小写差异的字段）。

• 数据类型不兼容
  仔细核对Java实体类的字段类型和MongoDB中存储的类型是否完全一致：

  • 比如MongoDB存的是Double，但实体类用了Integer，字段会直接变为Null；
  • 如果MongoDB是嵌套文档结构，实体类却用了普通数据类型，也会导致值无法填充。

• 缺少无参构造函数
  Spark基于反射生成Schema时，要求实体类必须有公共的无参构造函数。如果只定义了带参数的构造函数，Spark无法实例化对象，所有字段都会是Null。记得补充：

  public MVTest() {}
  

• 字段访问权限问题
  Spark需要能够访问实体类的字段，要么把字段设为public，要么为每个字段提供对应的getter/setter方法。没有这些，Spark无法为字段赋值，自然会返回Null。

• 连接配置不一致
  确认使用显式Schema时的Spark读取配置，和自动推断Schema时的配置完全一致。比如数据库名、集合名、spark.mongodb.input.readPreference等参数，哪怕微小的差异都可能导致读取到空数据。

• 嵌套结构处理不当
  如果MongoDB数据包含嵌套文档或数组，对应的嵌套实体类也需要遵守上述规则（无参构造、字段匹配、权限正确）。嵌套类的配置错误会直接导致对应部分的值为Null。

后续建议 #

如果上述排查都没能解决问题，建议提供完整的Java实体类代码和Spark读取MongoDB的完整代码，这样能更精准定位问题（比如你是否用Encoders.bean()来生成Schema？）。

内容的提问来源于stack exchange，提问作者Atul Suryavanshi