AWS Glue Notebook执行首段代码时遭遇配置解析语法错误求助
AWS Glue Notebook执行首段代码时遭遇配置解析语法错误求助
嘿,我一眼就看出问题所在啦!你遇到的语法错误,根源是**%%configure这个Glue魔法命令没有独占一个代码单元格**导致的。
问题原因
%%configure是Glue Notebook里的单元格级魔法命令,它要求整个代码单元格里只能有配置相关内容,不能和Python代码混在一起。你现在把配置块和import sys这些初始化代码放在同一个cell里,解析器会把后面的Python代码也当成配置JSON的一部分来解析,自然就会抛出语法错误了。
解决步骤
你只需要把代码拆成两个独立的单元格就可以了:
第一个单元格:单独放配置魔法命令
%glue_version 3.0 %worker_type G.1X %number_of_workers 5 %%configure { "region": "ap-xxxxxxx-2", "iam_role": "arn:aws:iam::xxxxxxx:role/IAM_Glue_Role" }
第二个单元格:放Python初始化代码
import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from awsglue.context import GlueContext from awsglue.job import Job sc = SparkContext.getOrCreate() glueContext = GlueContext(sc) spark = glueContext.spark_session job = Job(glueContext)
这样拆分后,配置命令会被正确解析,初始化代码也能正常执行,就不会再出现那个语法错误啦~
备注:内容来源于stack exchange,提问作者tzhao5
相关产品推荐
相关产品推荐

