EMR集群调用Delta Lake的Python任务失败，求排查解决

核心问题排查方向 #

结合你提供的代码、提交命令和EMR配置，针对Delta Lake相关的运行失败问题，给出以下排查步骤和修改建议：

1. 修正S3路径格式（易忽略的致命问题） #

代码中读取和写入的S3路径缺少s3://前缀，Spark会将其识别为集群节点的本地路径，必然导致文件找不到的错误。

• 修改读取路径：s3://MyBucket/raw-data/microdados_enem_2020.csv
• 修改写入路径：s3://MyBucket/staging/test

2. 消除依赖包重复配置 #

你在spark-submit命令和代码的SparkSession中都配置了spark.jars.packages，这会导致依赖包重复加载，可能引发类冲突。建议保留命令行的配置，删除代码中的对应项：
修改后的SparkSession代码：

spark = (SparkSession.builder.appName("DeltaExercise")
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension")
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")
    .getOrCreate()
)

3. 确认依赖包下载与兼容性 #

• 版本兼容性：你的EMR 6.3.0对应Spark 3.1.2，Delta Lake 1.0.0与Spark 3.1.x完全兼容，版本匹配没问题。
• 网络与依赖下载：如果集群处于私有VPC无公网访问权限，--packages无法从Maven中央仓库下载依赖包。此时需提前将Delta的jar包上传至S3，在spark-submit中用--jars s3://your-bucket/path/delta-core_2.12-1.0.0.jar指定本地jar包路径。

4. 查看详细日志定位具体错误 #

你提到是“未知错误”，必须通过日志获取具体异常信息：

• 在EMR控制台找到对应Step，点击查看日志；
• 或登录集群主节点，执行命令：yarn logs -applicationId <你的应用ID>
  重点搜索以下关键词：ClassNotFoundException、ImportError、FileNotFoundException、AccessDenied，这些会直接指向问题根源（比如依赖缺失、路径错误、权限不足）。

5. 验证S3访问权限 #

确保EMR集群的EC2角色（默认是EMR_EC2_DefaultRole）拥有目标S3桶的读写权限，需包含s3:GetObject、s3:PutObject、s3:ListBucket等权限。

内容的提问来源于stack exchange，提问作者Renata Mesquita