使用boto3创建EMR集群时实例组自动扩缩容策略绑定失败

核心原因 #

你在Core实例组的配置中存在参数冲突：

• 实例组初始启动数量InstanceCount设置为1
• 自动扩缩容策略的最小容量约束MinCapacity设置为3
  EMR绑定自动扩缩容策略前会校验初始实例数必须处于[MinCapacity, MaxCapacity]区间内，初始值小于最小容量直接触发校验失败，导致策略无法绑定。
  这也是CLI运行正常但boto3失败的最可能原因：你在适配CLI参数时，误将Core实例组的初始实例数从3改成了1。

其他可能原因 #

• 你将Core实例组的采购模式设置为了SPOT竞价实例，若当前区域对应实例规格的SPOT库存不足，EMR无法保证可扩容到你设置的最小容量，也会导致策略绑定失败。
• 自动扩缩容角色EMR_AutoScaling_DefaultRole权限缺失，不过你CLI可正常运行，该问题概率极低。

• 修复参数冲突：要么将Core实例组的InstanceCount调整为≥3的数值，要么将自动扩缩容策略的MinCapacity调整为≤1的数值，保证初始实例数符合扩缩容的容量范围要求。
• 若需保留Core节点为SPOT模式，可在实例组配置中添加BidPrice参数指定竞价上限，同时确认当前区域i3.2xlarge规格的SPOT库存充足；也可直接将Core实例组的Market改为ON_DEMAND，降低扩容失败概率。
• 建议优化架构：将自动扩缩容策略绑定到Task实例组，Core组保留固定数量的实例负责HDFS数据存储，避免Core节点缩容导致数据丢失。

内容的提问来源于stack exchange，提问作者Riley Hun