EMR Studio Spark 3.3.1-amzn-0集群applyInPandas执行失败求助

问题分析 #

报错核心是Spark创建Python虚拟环境时执行virtualenv命令失败，大概率是两个原因触发：一是集群节点的virtualenv环境本身异常，二是pandas/pyarrow版本与Spark 3.3.1不兼容，引发虚拟环境创建流程中的依赖冲突。

具体解决步骤 #

1. 绕过Spark虚拟环境创建（优先尝试） #

Spark默认会为Python任务创建独立虚拟环境，这个环节容易出问题。直接禁用该功能，使用系统Python环境：

• 在EMR Studio的Spark会话配置中添加以下参数：

  spark.pyspark.virtualenv.enabled false
  spark.python.use.daemon false
  

• 或者提交Spark任务时通过--conf参数指定：

  spark-submit --conf spark.pyspark.virtualenv.enabled=false --conf spark.python.use.daemon=false your_script.py
  

2. 安装适配的pandas与pyarrow版本 #

Spark 3.3.1对pandas 2.x版本兼容性较差，需锁定兼容版本：

• 在集群所有节点执行安装命令（可通过EMR Bootstrap动作批量完成）：

  pip3 install pandas==1.5.3 pyarrow==8.0.0
  

  注：EMR 6.8（对应Spark 3.3.1-amzn-0）内置的pyarrow版本为8.0.0，匹配该版本可避免兼容性问题。

3. 验证配置与运行 #

• 确认Spark使用的Python路径正确，可补充配置：

  spark.pyspark.python /usr/bin/python3
  

• 重新运行你的applyInPandas示例代码，检查执行状态。

内容的提问来源于stack exchange，提问作者mountrix