将Pandas DataFrame转为Spark DataFrame时遇Java网关错误求助

操作背景 #

• 下载并安装了Windows 64位Databricks Spark ODBC驱动
• 执行pip install pyspark完成PySpark安装
• 运行以下测试代码时出错：

from pyspark.sql import SparkSession
import pandas as pd

# 创建SparkSession
spark = SparkSession.builder.appName("example").getOrCreate()

# 创建Pandas DataFrame
pandas_df = pd.DataFrame({
    'column1': [1, 2, 3],
    'column2': ['A', 'B', 'C']
})

# 转换为PySpark DataFrame并展示
spark_df = spark.createDataFrame(pandas_df)
spark_df.show()

错误信息 #

PySparkRuntimeError                       Traceback (most recent call last)
Cell In[3], line 5
      2 import pandas as pd
      4 # Assuming you already have a SparkSession created
----> 5 spark = SparkSession.builder.appName("example").getOrCreate()
...
PySparkRuntimeError: [JAVA_GATEWAY_EXITED] Java gateway process exited before sending its port number.

问题原因与解决方法 #

核心原因 #

PySpark基于Java开发，启动时必须依赖Java运行环境（JRE/JDK），你的系统未配置好Java环境，导致Java网关无法正常启动。你安装的ODBC驱动和本地运行PySpark无关，ODBC仅用于连接外部Databricks集群数据源。

解决步骤 #

1. 安装兼容的JDK

   • 下载Windows 64位的JDK 8或11（PySpark对这两个版本兼容性最优，优先选JDK 8）
   • 完成安装后记录JDK的安装路径（如C:\Program Files\Java\jdk1.8.0_391）

2. 配置系统环境变量

   • 新建系统环境变量JAVA_HOME，值为刚才记录的JDK安装路径
   • 编辑系统Path变量，添加%JAVA_HOME%\bin到列表中

3. 验证环境配置

   • 打开新的命令提示符，执行以下命令，若能正常输出版本信息则配置成功：

     java -version
     javac -version
     

4. 重新运行代码

   • 关闭当前的Python运行环境（如Anaconda Prompt、Jupyter Notebook），重新打开后执行测试代码即可正常启动SparkSession

内容的提问来源于stack exchange，提问作者ASH