无配置初始化Spark会话时spark.executor.memory默认值是多少
spark.executor.memory 参数默认值解答 针对两个不同场景的默认配置值说明如下:
- Iguazio集群环境:Iguazio托管的Spark服务会提前在集群侧写入适配平台资源规则的默认配置,用户不传入任何自定义配置、直接初始化Spark会话时,
spark.executor.memory的默认值为8g。该值是Iguazio 3.x稳定版本集群的通用预置值,部分极小规格的测试集群可能会下调到4g,但生产标准集群默认均为8g。 - 无特殊限定的通用Spark环境:使用Apache Spark官方原生发行版、无任何外部配置文件修改、无平台定制参数注入,直接初始化Spark会话时,
spark.executor.memory的默认值为1g。该值是Spark源码内硬编码的基线默认值,覆盖Spark 2.x、3.x所有官方稳定版本。
验证方式:初始化Spark会话后,可执行
spark.conf.get("spark.executor.memory")命令直接获取当前环境实际生效的参数值,避免不同发行版预置配置差异导致的认知偏差。
内容的提问来源于stack exchange,提问作者xsqian
相关产品推荐
相关产品推荐

