Spark/Scala调用transform触发FindBugs空指针告警问题咨询

告警原因说明 #

NP_ALWAYS_NULL是FindBugs的典型告警，代表静态分析判定代码某处一定会拿到null值并进行解引用操作，告警中的?是因为FindBugs无法从Scala编译生成的字节码中解析到对应变量的符号名，所以用占位符代替。

排查思路 #

• 检查函数初始化顺序：如果你的addCol1是用val声明的函数变量而非def定义的方法，必须保证该变量的初始化代码在transform调用逻辑之前。Scala类的成员变量初始化严格按代码书写顺序执行，如果transform调用写在addCol1变量初始化之前，运行时此处拿到的确实是null，会触发真实的空指针风险。
• 检查方法作用域：如果addCol1是某个实例的成员方法，要确认调用transform时该实例已经完成初始化，没有在构造过程中提前引用未初始化的成员方法。
• 验证是否为工具误报：FindBugs是面向Java设计的静态分析工具，对Scala的语法糖、函数自动转换、Spark隐式逻辑的字节码识别支持很差，这类误报非常常见。你可以在调用transform前增加一行日志输出addCol1的值，运行测试如果输出非空，就可以判定为误报。

解决方案 #

• 如果是初始化顺序问题，调整代码顺序，保证函数/方法的定义在调用之前即可。
• 如果是工具误报，建议更换为Scala生态专门的静态检查工具，比如Scapegoat、WartRemover，误报率远低于FindBugs。如果要继续使用FindBugs，可以给对应代码段增加忽略注解：

@SuppressFBWarnings(value = Array("NP_ALWAYS_NULL"), justification = "Scala function conversion false positive")
val df = Seq((10,20)).toDF.transform(addCol1)

内容的提问来源于stack exchange，提问作者pedromorfeu