Azure Databricks从多XML文件创建Spark表失败求助

我之前在Databricks上处理XML文件加载时也碰到过一模一样的问题！单个文件能正常建表，但用目录路径就报错，咱们一步步来排查解决：

可能的原因&解决方案 #

1. 目录里混有非XML或格式不一致的文件 #

Spark加载目录时会尝试读取所有文件，如果目录里有其他类型的文件（比如.log、.tmp），或者部分XML文件的rowTag和你指定的不一致，就会触发解析失败。

• 解决办法：用通配符明确过滤XML文件，避免无关文件干扰：

CREATE TABLE mytab USING com.databricks.spark.xml OPTIONS ( path "/mnt/srcdir/*.xml", rowTag "xmltag")

2. 目录或文件的权限问题 #

有时候Spark对目录下的部分文件没有读取权限，也会导致Job直接中止。

• 解决办法：先检查/mnt/srcdir/下所有文件的权限，确保Spark运行的服务账号有读取所有文件的权限；也可以在Databricks里用dbutils.fs.ls("/mnt/srcdir/")手动列出目录内容，确认所有文件都能正常访问。

3. 换用DataFrame API加载（更灵活的错误处理） #

如果SQL建表语句一直报错，可以试试用DataFrame的方式加载，这种方式能更灵活地处理异常，还能看到更详细的错误信息：

// 读取目录下所有符合要求的XML文件，可选跳过错误行
val xmlDF = spark.read
  .format("com.databricks.spark.xml")
  .option("rowTag", "xmltag")
  // PERMISSIVE模式会跳过解析错误的行，并把错误内容存入_corrupt_record列
  .option("mode", "PERMISSIVE")
  .load("/mnt/srcdir/")

// 将DataFrame保存为表
xmlDF.write.mode("overwrite").saveAsTable("mytab")

4. 查看完整报错日志 #

你只给出了报错片段SparkException: Job aborted due...，完整的错误栈里通常会有具体原因（比如“无法解析某文件的第X行”“权限不足”）。建议去Spark UI的Job页面查看完整错误信息，或者在Databricks的日志里找细节，这能帮你快速定位根本问题。

内容的提问来源于stack exchange，提问作者Ali