本地Docker中AWS Glue 4.0写入Delta格式报错：找不到数据源delta

• 改用GlueContext初始化会话
  直接创建SparkSession会绕过Glue内置的依赖加载逻辑，改用GlueContext初始化Spark会话才能正确加载Delta相关驱动：

  from awsglue.context import GlueContext
  from pyspark.context import SparkContext
  
  sc = SparkContext()
  glueContext = GlueContext(sc)
  spark = glueContext.spark_session
  

• 确保Delta依赖包处于Classpath
  Glue 4.0官方镜像默认包含Delta Lake支持，但本地Docker环境可能存在依赖缺失。可以在启动任务时通过--extra-jars显式指定Delta jar包路径：

  spark-submit --extra-jars delta-core_2.12-2.4.0.jar your_script.py
  

  （注意jar版本需与Glue 4.0兼容，Glue 4.0对应Spark 3.3，Delta建议用2.4.0及以上适配版本）

• 修正参数传递方式
  不要在脚本内部手动追加sys.argv，而是在启动脚本时从命令行传入参数：

  python your_script.py --datalake-formats delta
  

  脚本内正常用getResolvedOptions获取即可。

• 验证Delta数据源是否注册
  初始化会话后执行以下代码，确认Delta已被识别：

  print(spark.sql("SHOW DATA SOURCES").filter("name = 'delta'").collect())
  

  若输出非空列表，说明Delta数据源已注册成功。

内容的提问来源于stack exchange，提问作者Finja