使用Glue的Python Shell时,后台仍会配置Spark集群吗?
AWS Glue Python Shell 是否会自动配置Spark集群?
使用Glue的Python Shell作业时,后台不会自动配置Spark集群。
具体说明:
- Python Shell是Glue提供的单节点运行环境,专为执行无需分布式计算的普通Python脚本设计,比如小型数据预处理、API调用、简单文件处理等场景。
- 只有创建Glue Spark作业(包含Python Spark、Scala Spark等类型)时,Glue才会根据你配置的Worker数量、类型等参数,自动启动对应的Spark集群资源。
内容的提问来源于stack exchange,提问作者Rajib Deb
相关产品推荐
相关产品推荐

