Spark Shell执行DataFrame条件计数报类型不匹配隐式转换歧义错误

该错误由隐式转换歧义直接导致：
Spark Shell启动时会默认导入spark.implicits._下的所有隐式方法，其中的StringToColumn方法为StringContext扩展了$字符串插值能力，支持用$"列名"的写法快速生成对应DataFrame列的Column对象，这也是写统计逻辑时原本想调用的方法。
但你额外手动导入了org.apache.spark.sql.catalyst.dsl.expressions._包，该包内的StringToAttributeConversionHelper方法同样为StringContext扩展了$插值方法，用于生成Catalyst内部的表达式对象。两个签名完全一致的隐式转换同时处于作用域内，且优先级相同，Scala编译器无法判定该选择哪一个转换处理$"key_number"语法，最终抛出类型不匹配、隐式转换歧义的错误。

可根据实际场景选择以下任意一种方案修复：

• 移除冗余导入：直接删除org.apache.spark.sql.catalyst.dsl.expressions.StringToAttributeConversionHelper、org.apache.spark.sql.catalyst.dsl.expressions._这两个导入。catalyst.dsl是Spark SQL内部做表达式解析用的内部API，普通DataFrame/Dataset业务开发不需要导入，移除后作用域内仅保留默认的StringToColumn隐式转换，原有$"key_number"的写法可直接正常运行。
• 更换列引用写法：如果确实需要用到catalyst dsl包的能力、不能移除对应导入，可绕开$插值写法，改用不存在歧义的列引用方式：
  • 用col()函数显式引用列（最稳妥无冲突）：

    import org.apache.spark.sql.functions.col
    dfEquipmenttorecover.where(col("key_number") === "12884612884").count
    

  • 用单引号语法糖引用列：

    dfEquipmenttorecover.where('key_number === "12884612884").count
    

  • 用DataFrame自身的apply方法引用列：

    dfEquipmenttorecover.where(dfEquipmenttorecover("key_number") === "12884612884").count
    

• 显式指定高优先级隐式转换：如果需要同时保留两个包的导入、且想继续使用$"列名"写法，可以单独显式导入Spark默认的StringToColumn方法，显式导入的隐式转换优先级高于通配符导入的转换，编译器会优先选择该方法处理$插值：

  import spark.implicits.StringToColumn
  // 原有代码无需修改即可运行
  dfEquipmenttorecover.where($"key_number"==="12884612884").count
  

内容的提问来源于stack exchange，提问作者Juanpita40