Databricks Notebook发送Spark DataFrame至EventHub时遇NoSuchMethodError错误

我在Databricks Notebook里尝试把PySpark DataFrame发送到Azure EventHub，执行以下代码时出现问题：

ehWriteConf = {
  'eventhubs.connectionString' : EVENT_HUB_CONNECTION_STRING
}

def send_to_eventhub(df:DataFrame):
    ds = df.select(struct(*[c for c in df.columns]).alias("body"))\
      .select("body")\
      .write.format("eventhubs")\
      .options(**ehWriteConf)\
      .save()

处理完DataFrame后调用该方法：

# 将feature_df写入EventHub
send_to_eventhub(feature_df)

之前查到类似问题是版本兼容导致的，我已经尝试安装了兼容版本的库com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.22，但还是抛出java.lang.NoSuchMethodError错误，错误栈显示缺失org.apache.spark.sql.AnalysisException的特定构造方法，目前不清楚具体原因。集群配置详情见截图。

内容的提问来源于stack exchange，提问作者Pedro Silva