从Azure Databricks Notebook连接Elasticsearch及写入DataFrame问题排查

问题列表 #

• 如何使用Scala或Python在Azure Databricks Notebook中连接Elasticsearch并将DataFrame写入其中？
• 是否可通过JDBC连接Elasticsearch，若可行该如何操作？
• 执行代码时抛出ClassNotFoundException，提示找不到org.elasticsearch.spark.sql数据源，如何解决？

用户尝试代码 #

df_latest_data = spark.sql("select * from deltastream2.deltatable")
df_latest_data.write.write.format(
    'org.elasticsearch.spark.sql'
).option(
    'es.nodes', 'http://spark.es.amazonaws.com'
).option(
    'es.port', 9200
).option(
    'es.resource', '%s/%s' % ('index_name', 'doc_type_name'),
).save()

报错信息 #

Py4JJavaError: An error occurred while calling o233968.save.
: java.lang.ClassNotFoundException: 
Failed to find data source: org.elasticsearch.spark.sql. Please find packages at
http://spark.apache.org/third-party-projects.html
       
    at org.apache.spark.sql.errors.QueryExecutionErrors$.failedToFindDataSourceError(QueryExecutionErrors.scala:557)
    at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:758)
    at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSourceV2(DataSource.scala:808)
    at org.apache.spark.sql.DataFrameWriter.lookupV2Provider(DataFrameWriter.scala:983)
    at org.apache.spark.sql.DataFrameWriter.saveInternal(DataFrameWriter.scala:293)
    at org.apache.spark.sql.DataFrameWriter.save(DataFrameWriter.scala:258)
    at sun.reflect.GeneratedMethodAccessor1195.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:380)
    at py4j.Gateway.invoke(Gateway.java:295)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:251)
    at java.lang.Thread.run(Thread.java:750)
Caused by: java.lang.ClassNotFoundException: org.elasticsearch.spark.sql.DefaultSource
    at java.net.URLClassLoader.findClass(URLClassLoader.java:387)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:419)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:352)
    at org.apache.spark.sql.execution.datasources.DataSource$.$anonfun$lookupDataSource$5(DataSource.scala:744)
    at scala.util.Try$.apply(Try.scala:213)
    at org.apache.spark.sql.execution.datasources.DataSource$.$anonfun$lookupDataSource$4(DataSource.scala:744)
    at scala.util.Failure.orElse(Try.scala:224)
    at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:744)
    ... 14 more

解决方案 #

1. Azure Databricks连接Elasticsearch并写入DataFrame（Python/Scala） #

前提：安装匹配的依赖包

需确保Elasticsearch Spark连接器版本与Spark、Elasticsearch版本兼容：

• Python环境：在Notebook开头执行安装命令：

%pip install elasticsearch-spark-30_2.12==<对应版本号>

• Scala环境：通过Databricks集群的库管理添加Maven坐标，格式为org.elasticsearch:elasticsearch-spark-30_2.12:<版本号>，例如org.elasticsearch:elasticsearch-spark-30_2.12:8.11.3。

写入DataFrame代码示例

Python版本

# 读取数据
df_latest_data = spark.sql("select * from deltastream2.deltatable")

# 写入Elasticsearch
df_latest_data.write.format("org.elasticsearch.spark.sql") \
    .option("es.nodes", "spark.es.amazonaws.com") \
    .option("es.port", "9200") \
    .option("es.resource", "index_name/_doc") \
    .option("es.nodes.wan.only", "true") \
    .save()

注意：Elasticsearch 7.x及以上版本不再使用文档类型，es.resource格式为索引名/_doc；6.x及以下版本可保留索引名/文档类型。

Scala版本

val dfLatestData = spark.sql("select * from deltastream2.deltatable")

dfLatestData.write.format("org.elasticsearch.spark.sql")
    .option("es.nodes", "spark.es.amazonaws.com")
    .option("es.port", "9200")
    .option("es.resource", "index_name/_doc")
    .option("es.nodes.wan.only", "true")
    .save()

2. JDBC连接Elasticsearch的可行性及操作方法 #

可以通过JDBC连接Elasticsearch，需使用官方JDBC驱动，操作步骤如下：

1. 添加JDBC驱动：在Databricks集群的库管理中添加Elasticsearch JDBC驱动JAR包，或通过Maven坐标org.elasticsearch.plugin:jdbc:<版本号>引入。
2. JDBC连接代码示例（Python）：

# 读取Elasticsearch数据（JDBC方式）
df_jdbc = spark.read.format("jdbc") \
    .option("url", "jdbc:elasticsearch://spark.es.amazonaws.com:9200") \
    .option("dbtable", "index_name/_doc") \
    .option("driver", "org.elasticsearch.jdbc.driver.ElasticsearchDriver") \
    .load()

# 写入Elasticsearch（JDBC方式）
df_jdbc.write.format("jdbc") \
    .option("url", "jdbc:elasticsearch://spark.es.amazonaws.com:9200") \
    .option("dbtable", "target_index/_doc") \
    .option("driver", "org.elasticsearch.jdbc.driver.ElasticsearchDriver") \
    .mode("append") \
    .save()

注意：JDBC方式性能与功能支持弱于Spark原生连接器，优先推荐使用原生连接器。

3. ClassNotFoundException解决方案 #

错误核心是缺少Elasticsearch Spark连接器依赖，解决步骤：

1. 确认版本兼容：确保elasticsearch-spark版本与Spark、Elasticsearch版本匹配（Spark 3.x对应elasticsearch-spark-30_2.12系列）。
2. 正确安装依赖：
   • Python环境执行%pip install elasticsearch-spark-30_2.12==<对应版本>，版本需与Elasticsearch版本一致。
   • Scala环境通过集群库管理添加正确Maven坐标，避免手动下载JAR包引发版本冲突。
3. 修正代码语法错误：原代码中存在write.write重复调用的问题，需改为df_latest_data.write.format(...)。

内容的提问来源于stack exchange，提问作者191180rk