Databricks中Spark版本查询方法及databricks.koalas导入失败问题咨询

我来帮你一步步搞定这两个问题哈～

一、快速查看Databricks上的Spark版本 #

有两种简单方法可以查到当前集群用的Spark版本：

• 方法1：Notebook代码直接查
  打开你的Databricks Notebook，在Python单元格里运行这行代码：

  spark.version
  

  如果是Scala Notebook，直接运行spark.version就行，执行后立刻就能看到版本号。

• 方法2：集群配置页查看
  找到你正在用的集群，点击「Configuration」标签，在「Spark version」那栏就能看到清晰的版本信息，还能顺便看到对应的Databricks Runtime版本哦。

二、搞定No module named databricks的Koalas导入错误 #

这里要给你划个重点：Databricks Koalas已经正式合并到PySpark里啦！从Spark 3.2版本开始，原来的databricks.koalas包就被弃用了，换成了PySpark内置的pyspark.pandas模块。所以你遇到的导入错误，基本是版本适配的问题，按下面两种情况处理就行：

情况1：你的集群用的是Spark 3.2及以上（推荐这么用） #

直接把导入语句换成PySpark官方支持的版本：

# 别再用下面这两行啦（已经弃用）
# import databricks.koalas
# from databricks import koalas

# 改用这个新的导入
import pyspark.pandas as ps

之后你用ps就能调用原来Koalas的大部分功能，语法和之前几乎一样，而且官方会持续维护这个模块，不用担心后续兼容问题。

情况2：必须用旧版Koalas（仅Spark 3.1及以下版本适用） #

如果你的集群Spark版本低于3.2，那就得手动安装Koalas包：

1. 进入集群的「Libraries」标签页
2. 点击「Install New」，选择「PyPI」作为库来源
3. 在「Package」输入框里填databricks-koalas，然后点「Install」
   等安装完成后，你就能正常用import databricks.koalas或者from databricks import koalas啦。

另外要注意哦：如果是本地开发环境连接Databricks集群，也要确保本地PySpark版本和集群一致，或者安装对应版本的databricks-koalas包，不然也可能出问题。

内容的提问来源于stack exchange，提问作者carrie3zz