升级Crealytics spark-excel最新版本后无法读取Excel的原因

云原生阿岚

2026-7-8

问题

原本使用Crealytics的spark-excel_2.12-3.4.1_0.19.0库可正常读取Excel文件，升级至最新版本spark-excel_2.12-3.5.0_0.20.1后，原代码执行失败。尝试以下两段代码均无法运行：

df=spark.read.format("com.crealytics.spark.excel").option("inferschema",True).option("header", True).option("ignoreLeadingWhiteSpace", "true").option("ignoreTrailingWhiteSpace", "true").option("keepUndefinedRows", True).option("dataAddress","'SHEET_NAME'!").load(path)
   
df=spark.read.format("excel").option("inferschema",True).option("header", True).option("ignoreLeadingWhiteSpace", "true").option("ignoreTrailingWhiteSpace", "true").option("keepUndefinedRows", True).option("dataAddress","'SHEET_NAME'!").load(path)

抛出的错误信息如下：

Py4JJavaError: An error occurred while calling o412.load.
: java.lang.ClassNotFoundException: 
Failed to find data source: excel. Please find packages at
https://spark.apache.org/third-party-projects.html
       
    at org.apache.spark.sql.errors.QueryExecutionErrors$.failedToFindDataSourceError(QueryExecutionErrors.scala:837)
    at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:744)
    at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSourceV2(DataSource.scala:794)
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:328)
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:237)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:380)
    at py4j.Gateway.invoke(Gateway.java:306)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.ClientServerConnection.waitForCommands(ClientServerConnection.java:195)
    at py4j.ClientServerConnection.run(ClientServerConnection.java:115)
    at java.lang.Thread.run(Thread.java:750)
Caused by: java.lang.ClassNotFoundException: excel.DefaultSource
    at java.net.URLClassLoader.findClass(URLClassLoader.java:387)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:419)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:352)
    at org.apache.spark.sql.execution.datasources.DataSource$.$anonfun$lookupDataSource$5(DataSource.scala:730)
    at scala.util.Try$.apply(Try.scala:213)
    at org.apache.spark.sql.execution.datasources.DataSource$.$anonfun$lookupDataSource$4(DataSource.scala:730)
    at scala.util.Failure.orElse(Try.scala:224)
    at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:730)
    ... 15 more

运行环境：Databricks Python单元格，Scala版本2.x。

原因分析

数据源类注册逻辑变更：新版本spark-excel库调整了数据源的注册规则，原有的com.crealytics.spark.excel或简写excel的格式名称不再对应正确的数据源实现类，导致Spark找不到excel.DefaultSource类。
Spark 3.5.0适配调整：该版本库针对Spark 3.5.0做了适配，可能将数据源从V1版本切换到V2版本，而V2数据源的注册与调用逻辑和V1不兼容，原代码的格式调用方式不再适用。
Databricks环境依赖加载异常：在Databricks中升级库后，可能存在旧库缓存未清理、新库未正确加载到Spark类路径的情况，导致无法识别新版本的数据源类。
参数兼容性潜在问题：虽然当前核心报错是数据源找不到，但新版本可能废弃或调整了部分参数（如keepUndefinedRows），后续若解决数据源问题后仍有报错，需同步核对参数是否兼容。

内容的提问来源于stack exchange，提问作者Ramesh Bathini