Spark投影模块配置检查失败：最小执行数需小于最大执行数问题求助

问题背景 #

我们采用本地部署栈（on-prem stack），在数据集上创建了一个Projection（投影）。构建环节的Projection配置对话框中，因GUI提示以下内容，留空了Spark Profile（Spark配置文件）的文本框：

The spark profiles on this projection are managed and adjusted based on data volume. Adjustments to spark profiles will only apply to the next build of this projection.

将构建任务设为每日执行一次，首次构建成功，从成功构建详情可见Spark使用参数：dynamicAllocationMaxExecutors 40、dynamicAllocationMinExecutors 2。

几天后再次打开该投影GUI时，发现Foundry自动设置了配置文件“NUM_EXECUTORS_1”，使用此配置的所有构建均失败，构建详情显示：

Configuration Check Failed: Min executors must be less than the max executors

问题根源判断 #

• 核心问题出在NUM_EXECUTORS_1配置文件本身的参数冲突：该配置大概率是固定设置了numExecutors=1，同时未清理或错误配置了dynamicAllocationMinExecutors和dynamicAllocationMaxExecutors参数，导致最小值大于或等于最大值（比如两者均设为1），触发配置校验失败。
• Foundry的自动缩放逻辑在检测数据量变化时，错误切换到了不合适的固定配置文件，而非继续沿用首次构建时的动态分配模式。

解决方法 #

1. 修复冲突的Spark Profile参数 #

进入Foundry管理员控制台的Spark配置管理页面（路径一般为Admin Console → Spark → Profiles），找到NUM_EXECUTORS_1配置：

• 查看参数列表，确认是否存在dynamicAllocationMinExecutors >= dynamicAllocationMaxExecutors的情况
• 如果该配置用于固定executor数量场景，直接移除dynamicAllocationMinExecutors和dynamicAllocationMaxExecutors参数；若需保留动态分配，调整参数确保min < max
• 保存修改后重新触发Projection构建验证

2. 重置Projection为自动管理状态 #

打开Projection的构建配置对话框：

• 手动清空Spark Profile输入框，让配置回到“自动根据数据量调整”的模式
• 保存配置后手动触发一次构建，检查构建详情是否恢复使用动态分配参数（如dynamicAllocationMaxExecutors=40、dynamicAllocationMinExecutors=2）
• 若GUI无法直接清空，联系管理员通过后台配置重置该Projection的Spark Profile设置

3. 优化自动缩放策略（长期稳定方案） #

联系Foundry集群管理员调整自动缩放规则：

• 确认动态分配与固定配置的切换阈值是否合理，避免小数据量场景误触发不合适的固定配置
• 调整规则优先级，确保需要动态分配的Projection优先匹配动态配置文件，而非参数冲突的固定配置
• 优化自动缩放逻辑，减少无意义的配置切换

4. 临时替代方案（若自动模式仍不稳定） #

如果自动管理模式频繁出问题，可手动指定兼容的动态分配配置：

• 创建或选择一个默认启用动态分配、设置合理min/max executors的Spark Profile
• 将该配置手动分配给Projection，替代自动选择逻辑

内容的提问来源于stack exchange，提问作者twinkle2