AWS EMR 6.10.0中PySpark UDF执行失败：virtualenv命令报错求助

问题现象 #

在AWS EMR 6.10.0集群中执行PySpark UDF时，任务因virtualenv创建失败崩溃，核心报错：

java.lang.RuntimeException: Failed to run command: /usr/bin/virtualenv -p python3 --no-pip --system-site-packages virtualenv_application_xxxxxx

测试代码：

data = [("AAA",), ("BBB",), ("CCC",)]
df = spark.createDataFrame(data, ["col1"])
udf_f = F.udf(lambda x: str.lower(x), StringType())
df.withColumn("col_udf", udf_f(F.col("col1"))).show()

• EMR 6.5.0及以下版本可正常运行
• 关闭spark.pyspark.virtualenv.enabled=false后UDF可运行，但sc.install_pypi_package()功能失效

解决方案 #

方案1：修复virtualenv执行配置 #

EMR 6.10.0默认的virtualenv参数可能存在Python路径匹配问题，通过指定明确的Python解释器路径解决：

1. 提交Spark作业时添加配置：

--conf spark.pyspark.virtualenv.python=/usr/bin/python3.8

（路径需匹配集群节点实际Python3版本，可在节点执行which python3确认）

2. 或在SparkSession初始化时设置：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("UDFTest") \
    .config("spark.pyspark.virtualenv.python", "/usr/bin/python3.8") \
    .getOrCreate()

方案2：切换为Conda环境管理 #

用Conda替代virtualenv，既保留动态安装包功能，又规避virtualenv的问题：

1. 提交作业时添加配置：

--conf spark.pyspark.virtualenv.enabled=false \
--conf spark.pyspark.conda.enabled=true \
--conf spark.pyspark.conda.env.name=pyspark-env

2. 后续sc.install_pypi_package()会将依赖安装到指定Conda环境，UDF执行自动使用该环境。

方案3：预安装依赖（适合无需动态安装的场景） #

通过EMR Bootstrap Action在集群启动时预安装依赖，关闭virtualenv也能正常运行UDF：

1. 创建bootstrap脚本（示例install_deps.sh）：

#!/bin/bash
pip3 install <你的依赖包名>

2. 创建EMR集群时添加该脚本作为Bootstrap Action，确保所有节点预安装依赖。

内容的提问来源于stack exchange，提问作者JstFlip