EMR中spark-submit提交任务报错：Unrecognized option: --conf "spark.archives

核心原因 #

你的命令中使用了HTML实体编码的引号 "，而非Shell可识别的普通双引号 "。Shell无法将"解析为引号，导致命令被错误拆分，把--conf "spark.archives（未闭合的引号片段）当成了无效选项。

修正后的命令 #

将所有"替换为普通双引号，修正后的完整命令如下：

spark-submit --deploy-mode client \
             --num-executors 3 \
             --executor-cores 4 \
             --executor-memory 10000m \
             --driver-memory 2g \
             --conf "spark.archives=s3://spark/venv.tar.gz#environment" \
             --conf "spark.executorEnv.PYSPARK_PYTHON=./environment/bin/python" \
             --conf "spark.pyspark.python=./environment/bin/python" \
             --conf "jars.packages=io.delta:delta-core_2.12:2.4.0" \
             --conf "sql.extensions=io.delta.sql.DeltaSparkSessionExtension" \
             --conf "sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog" \
             s3://spark/count_numbers.py \
             --source-directory s3://data-in/words/ \
             --output-directory s3://data-out/word-count/

额外验证点 #

• 确认每行末尾的\后无多余空格，否则会导致行续接失败
• 检查EMR集群的Spark版本是否支持spark.archives配置（该配置从Spark 3.0开始支持，EMR 6.x及以上版本通常搭载符合要求的Spark版本）

内容的提问来源于stack exchange，提问作者Hugo