Databricks中使用spark-avro-2.11-4.0时SchemaConverters找不到问题求助

这个问题我之前帮同事排查过，大概率是包导入或者依赖配置的问题，咱们一步步来解决：

1. 确认正确的导入语句 #

不同版本的Spark-Avro，SchemaConverters的包路径不一样，结合你用的spark-avro-2.11-4.0版本（对应Spark 2.4.x，处于Databricks维护转Apache官方的过渡阶段）：

• 如果你用的是Databricks维护的旧版Spark-Avro（Maven坐标com.databricks:spark-avro_2.11:4.0.0），导入路径是：

  import com.databricks.spark.avro.SchemaConverters
  

• 如果你用的是Apache官方的Spark-Avro（Maven坐标org.apache.spark:spark-avro_2.11:4.0.0），导入路径是：

  import org.apache.spark.sql.avro.SchemaConverters
  

2. 确保依赖库正确加载到Databricks集群 #

在Databricks中，必须确认集群已经正确安装了对应库：

• 打开集群的Libraries标签页，点击Install New
• 选择Maven作为来源，输入对应坐标：
  • 旧版Databricks包：com.databricks:spark-avro_2.11:4.0.0
  • 新版Apache包：org.apache.spark:spark-avro_2.11:4.0.0
• 等待安装完成后，重启集群（如果集群之前已在运行）

3. 完整的转换示例代码 #

这里给你一个可直接运行的Scala示例（以Databricks旧版包为例）：

import com.databricks.spark.avro.SchemaConverters
import org.apache.avro.Schema
import org.apache.spark.sql.types.StructType

// 定义你的Avro Schema字符串
val avroSchemaStr = """
{
  "type": "record",
  "name": "User",
  "fields": [
    {"name": "user_id", "type": "long"},
    {"name": "user_name", "type": "string"},
    {"name": "is_active", "type": "boolean"}
  ]
}
"""

// 解析Avro Schema
val avroSchema = new Schema.Parser().parse(avroSchemaStr)

// 转换为Spark StructType
val structType: StructType = SchemaConverters.toSqlType(avroSchema).dataType.asInstanceOf[StructType]

// 打印结果验证
println("转换后的StructType:")
structType.printTreeString()

额外注意事项 #

• 如果你使用的是Databricks Runtime 6.x及以上版本，集群已经内置了Spark-Avro模块，不需要额外安装，直接用Apache官方的包路径即可
• 不要同时安装多个版本的Spark-Avro，否则会出现依赖冲突，导致类找不到的问题

内容的提问来源于stack exchange，提问作者NNN