.NET应用连接Azure Databricks Delta表读取数据/流及连接失败问题排查

嘿，我来帮你解决这个问题！你遇到的127.0.0.1:5567连接被拒绝的错误，本质是因为你的代码默认尝试在本地启动Spark实例，而不是连接到远程的Azure Databricks集群。下面一步步帮你搞定：

错误原因拆解 #

常规的SparkSession.Builder()会默认启动本地Spark环境，它会尝试连接本地的JVM桥接端口5567，但你根本没在本地装Spark，所以自然被拒绝。要连接远程Databricks，得用Databricks Connect的专用配置方式。

解决方案步骤 #

1. 先对齐版本

首先确保你项目里安装的Microsoft.Spark NuGet包版本，和Azure Databricks集群的Spark版本完全一致（比如集群用Spark 3.3.2，你就装对应3.3.x版本的Microsoft.Spark），版本不匹配会出现各种奇怪的兼容问题。

2. 修改SparkSession配置（关键！）

把你原来的代码改成下面这样，核心是添加spark.master=databricks，告诉Spark不要启动本地实例，而是连接远程集群：

var spark = SparkSession
    .Builder()
    .AppName("Delta Table Reader/Streamer")
    // 你的Databricks工作区地址
    .Config("spark.databricks.service.address", "https://adb-somenumericid.azuredatabricks.net/")
    // 你的PAT令牌（注意不要硬编码到代码里，建议用环境变量）
    .Config("spark.databricks.service.token", "mypat")
    // 目标集群的ID
    .Config("spark.databricks.service.clusterId", "0118-xxxxx-yyyyyy")
    .Config("spark.databricks.delta.preview.enabled", "true")
    // 关键配置：指定连接远程Databricks集群
    .Config("spark.master", "databricks")
    .GetOrCreate();

3. 验证基础条件

• 确认你的PAT令牌有足够权限：需要包含cluster:use、cluster:read，以及访问目标catalog/schema/table的权限。
• 目标集群必须处于运行中状态，如果集群是停止的，连接肯定失败。
• 本地机器能正常访问你的Databricks工作区地址，没有防火墙或代理拦截请求。

4. 读取Delta表（含流读取）

你原来的读取代码是对的，修改配置后就能正常读取了：

// 读取静态Delta表
var staticTable = spark.Read().Format("delta").Table("mycatalog.mydb.mytable");
staticTable.Show();

如果要读取Delta流（实时监控表变化），可以用这段代码：

// 读取Delta流
var streamDF = spark
    .ReadStream()
    .Format("delta")
    .Option("ignoreChanges", "true") // 可选：处理小文件合并等变更
    .Table("mycatalog.mydb.mytable");

// 将流输出到控制台（也可以输出到其他Sink）
streamDF.WriteStream()
    .OutputMode("append")
    .Format("console")
    .Start()
    .AwaitTermination();

常见坑点排查 #

• 不要硬编码PAT令牌：建议用环境变量或者配置文件存储，避免泄露敏感信息。
• 如果还是连接失败，检查集群的安全组规则：确保集群允许你的本地IP访问（或者Databricks工作区的网络设置允许外部连接）。
• 版本一定要匹配：哪怕是小版本差异（比如3.3.1 vs 3.3.2）都可能导致连接失败。

备注：内容来源于stack exchange，提问作者Mathias Rönnlund