如何获取Delta Lake 1.0.0版本jar包，适配Spark 3.1用于Glue作业

版本匹配规则 #

Delta Lake与Spark版本存在严格的绑定关系，你使用的Spark 3.1对应适配的Delta Lake版本为1.0.x系列，最高可选用1.0.3版本，更高版本的Delta Lake无法兼容Spark 3.1运行环境。
Glue 3.0版本（对应Spark 3.1运行环境）默认Scala版本为2.12，需选择对应Scala版本编译的Delta Lake jar包。

Jar包官方获取途径 #

• 手动下载上传S3场景：可直接从Maven中央仓库搜索artifactId为delta-core_2.12的组件，选择1.0.x对应版本的jar包下载后上传至你的S3路径，再按原有逻辑在Glue作业中引用即可。
• 无需手动上传场景：可直接在Glue作业的「作业参数」中添加如下配置，作业运行时会自动拉取对应依赖，不需要提前把jar包存到S3：
  --conf spark.jars.packages=io.delta:delta-core_2.12:1.0.3

Glue作业必加适配配置 #

引入Delta Lake依赖后，还需添加以下作业参数保证Upsert等操作正常运行：

• --conf spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension
• --conf spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog

内容的提问来源于stack exchange，提问作者Harish J