如何获取Spark所有调优参数及其spark-submit对应名称的详尽列表

嘿，这个问题确实戳中了Spark配置的一个小痛点——命令行参数和Spark原生属性名经常不一样，很容易搞混。给你几个靠谱的、不用跳外链的方式来拿到完整的对应列表：

• 直接用spark-submit的内置帮助：这是最便捷也最权威的方式，打开终端敲一行命令就行：

  spark-submit --help
  

  输出里会列出所有支持的命令行参数（也就是SparkSubmitOptionParser对应的属性），绝大多数参数后面都会明确标注对应的Spark配置属性，比如--executor-cores NUM会说明对应spark.executor.cores，完全适配你当前使用的Spark版本，不会有版本不一致的问题。

• 查看本地Spark安装包的离线文档：如果你下载了完整的Spark安装包，解压后在docs目录里能找到HTML格式的官方文档，找到「Spark Submit」相关章节，里面有系统的参数对照表，还会附带每个参数的详细说明，适合慢慢查阅。

• 查看Spark源码中的SparkSubmitOptionParser类：要是你想深挖底层逻辑，可以直接看Spark源码里的org.apache.spark.deploy.SparkSubmitOptionParser类，这个类里定义了所有命令行参数和Spark属性的映射关系，能看到最原始的对应规则，适合需要自定义配置逻辑的场景。

提醒一句：不同Spark版本的参数可能有细微调整，所以优先用spark-submit --help来获取当前版本的准确列表哦。

内容的提问来源于stack exchange，提问作者y2k-shubham