Scala 2.12下为Spark Dataset用例类自动生成伴生对象的解决方法

一、修复宏方案适配Scala 2.12 #

报错原因 #

Scala 2.12对宏中的模式匹配变量检查更严格，quasiquotes生成的未使用临时变量会触发编译警告（甚至错误）。原宏代码中未使用的占位符变量（如$_生成的qq$macro$X）是问题根源。

修复后的宏实现 #

下面是适配Scala 2.12的宏注解代码，核心是移除未使用的模式绑定，用通配符_替代占位符，避免生成未使用变量：

import scala.annotation.{StaticAnnotation, compileTimeOnly}
import scala.language.experimental.macros
import scala.reflect.macros.blackbox

@compileTimeOnly("需要启用macro paradise插件才能展开宏注解")
class generateSchemaFields extends StaticAnnotation {
  def macroTransform(annottees: Any*): Any = macro GenerateSchemaFieldsMacro.impl
}

object GenerateSchemaFieldsMacro {
  def impl(c: blackbox.Context)(annottees: c.Tree*): c.Tree = {
    import c.universe._

    annottees match {
      // 匹配case class定义，用_替代所有未使用的占位符，避免生成未使用变量
      case (classDef@q"_ class $tpname[.._] _(...$paramLists) extends { .._ } with .._ { _ => .._ }") :: Nil =>
        // 提取所有参数列表中的字段名
        val fieldNames = paramLists.flatMap(_.map(_.name.toString))
        // 生成每个字段对应的字符串常量val
        val fieldVals = fieldNames.map(name => 
          q"val ${TermName(name)} = ${Literal(Constant(name))}"
        )
        // 生成伴生对象
        val companionObj = q"""
          object ${tpname.toTermName} {
            ..$fieldVals
          }
        """
        // 返回原case class + 生成的伴生对象
        q"$classDef $companionObj"
      
      case _ =>
        c.abort(c.enclosingPosition, "该注解仅支持应用在case class上")
    }
  }
}

使用方式 #

在case class上添加注解即可自动生成伴生对象：

@generateSchemaFields
final case class MySchema(id: Int, name: String, timestamp: Long)

// 编译后自动生成伴生对象，可直接引用
MySchema.id // 对应字符串"id"

依赖配置 #

需要在sbt中添加macro paradise插件支持Scala 2.12：

addCompilerPlugin("org.scalamacros" % "paradise" % "2.1.1" cross CrossVersion.full)

二、替代方案：sbt代码生成插件 #

如果宏方案仍有问题，可使用sbt代码生成工具（如sbt-sourcegen）在编译前自动生成字段常量类：

1. 添加sbt插件依赖 #

在project/plugins.sbt中添加：

addSbtPlugin("com.eed3si9n" % "sbt-sourcegen" % "0.3.1")

2. 编写代码生成逻辑 #

在build.sbt中定义生成任务，扫描带有特定标记的case class，生成对应的字段常量对象：

sourceGenerators in Compile += Def.task {
  import scala.meta._
  
  // 读取项目中的case class文件
  val sourceDir = (scalaSource in Compile).value
  val schemaClasses = sourceDir.glob("**/*.scala").filter { file =>
    val content = IO.read(file)
    content.contains("@GenerateSchemaFields") // 自定义标记注解
  }
  
  schemaClasses.map { file =>
    val tree = file.parse[Source].get
    // 提取case class定义
    tree.collect {
      case cls@Defn.Class(_, name, _, Ctor.Primary(_, _, paramss), _) if cls.mods.exists(_.is[Mod.Case]) =>
        val fieldNames = paramss.flatMap(_.map(_.name.value))
        // 生成伴生对象代码
        val companionCode = s"""
          object ${name.value} {
            ${fieldNames.map(n => s"val $n = \"$n\"").mkString("\n    ")}
          }
        """
        // 生成输出文件
        val outputFile = (sourceManaged in Compile).value / s"${name.value}Fields.scala"
        IO.write(outputFile, companionCode)
        outputFile
    }
  }.flatten
}.taskValue

3. 使用方式 #

在case class上添加自定义标记注解（无需宏支持）：

// 仅作为标记，无需实现
class GenerateSchemaFields extends StaticAnnotation

@GenerateSchemaFields
final case class MySchema(id: Int, name: String, timestamp: Long)

编译时会自动在target/scala-2.12/src_managed/main目录下生成字段常量对象。

三、轻量方案：手动定义辅助对象（适合小项目） #

如果项目规模小，字段不多，可手动编写辅助对象，虽然繁琐但最稳定：

final case class MySchema(id: Int, name: String, timestamp: Long)

object MySchema {
  val id = "id"
  val name = "name"
  val timestamp = "timestamp"
}

内容的提问来源于stack exchange，提问作者oey192