EMR集群容量规划:28个20GiB进程是否为执行器?
EMR容量规划中20GiB进程的含义
- 文档里提到的「28个各占20GiB的进程」就是Spark执行器(executor)。
- 在EMR运行Spark作业的场景下,执行器是承担实际计算任务的核心进程,每个执行器会占用指定的内存资源。这个28个20GiB的假设,通常对应特定的EC2实例配置(比如r5.8xlarge实例,总内存256GiB,扣除系统服务、YARN等预留内存后,剩余内存刚好可以划分出28个20GiB的执行器),是AWS官方基于典型生产环境给出的参考配置。
内容的提问来源于stack exchange,提问作者Nithin
相关产品推荐
相关产品推荐

