确认Glue作业中传递多个Spark属性参数的方式是否正确
确认Glue作业中Spark参数传递方式的正确性
你的这种Spark属性参数传递方式是完全正确的。
在AWS Glue作业中配置Spark属性时,标准做法就是以Key-Value键值对的形式设置:
- 将完整的Spark参数名称(如
spark.sql.adaptive.enabled、spark.sql.adaptive.coalescePartitions.enabled)作为Key - 将对应参数的取值(
true)作为Value
你当前的配置完全匹配需要传递的两个Spark参数,参数名称和取值都准确无误,即使参数值前带有空格也不会影响Glue对参数的解析和生效。
内容的提问来源于stack exchange,提问作者Sharayu Dhamale
相关产品推荐
相关产品推荐

