在Amazon EMR中执行spark-submit传递--conf参数失败问题求助

嘿，我一眼就揪出你遇到的问题根源了！你的spark-submit命令里的--conf参数用了错误的符号，导致Spark完全识别不出这是一个配置项。

问题分析 #

你命令里写的是 -–conf（一个半角短横 + 一个长破折号），但Spark的命令行参数要求长选项必须用两个连续的半角短横（--）来标识。这个符号错误会让CLI解析器把-–conf和后面的配置值当成你的应用程序参数，而不是Spark的全局配置，所以自然不会生效。

修正后的完整命令 #

把错误的符号替换成正确的双短横，修正后的命令如下：

spark-submit --jars "/home/hadoop/transfer_cluster/run_spark/spark_jars/jars/trove-3.0.2.jar" --class SparkPTE bin/pte_sc.jar arabic_undirected --conf spark.yarn.nodemanager.vmem-check-enabled=false

额外验证建议 #

提交任务后，你可以通过以下方式确认配置是否生效：

• 访问Spark UI的Environment页面，搜索spark.yarn.nodemanager.vmem-check-enabled，查看值是否为false
• 如果还有疑问，执行spark-submit --help可以查看所有合法的参数格式，确保后续命令不会再犯类似符号错误

内容的提问来源于stack exchange，提问作者dhanush-ai1990