.NET使用Spark写入Delta Table遇数据源缺失错误的解决咨询

错误原因 #

Delta Lake并非Apache Spark原生内置的数据源，需要额外加载Delta官方提供的Spark连接器（Java/Scala包），.NET Spark作为Spark的.NET桥接层，依赖底层Spark环境加载这些Java依赖才能识别delta数据源格式。

具体解决步骤 #

1. 匹配Spark与Delta Lake的版本 #

首先确认你的.NET Spark所依赖的Spark版本，选择兼容的Delta Lake版本：

• Spark 3.3.x → Delta Lake 2.2.x
• Spark 3.4.x → Delta Lake 2.4.x
• Spark 3.5.x → Delta Lake 3.0.x

2. 启动.NET Spark应用时加载Delta依赖 #

.NET Spark应用通过dotnet spark submit命令启动，需在命令中添加--packages参数引入Delta的Java包。示例命令（以Spark 3.3.0 + Delta 2.2.0为例）：

dotnet spark submit --packages io.delta:delta-core_2.12:2.2.0 --class YourNamespace.YourProgram YourApp.dll

• _2.12是Scala版本后缀，Spark 3.x系列默认使用Scala 2.12，请勿写错。
• 若需同时加载其他依赖（比如后续连接ADLS Gen2的包），可用逗号分隔多个包名。

3. 验证代码（无需修改原有写入逻辑） #

你当前的C#代码本身没有问题，只要依赖加载成功，df.Write().Format("delta")即可正常写入本地Delta表。运行命令后，检查目标路径会生成_delta_log文件夹（Delta事务日志）和parquet数据文件，说明写入成功。

4. 后续迁移到ADLS Gen2的准备 #

当需要将Delta表存储到ADLS Gen2时，需额外配置：

（1）引入Azure存储连接器依赖

在启动命令中添加Hadoop Azure包（版本需与Spark依赖的Hadoop版本匹配）：

dotnet spark submit --packages io.delta:delta-core_2.12:2.2.0,org.apache.hadoop:hadoop-azure:3.3.4 --class YourNamespace.YourProgram YourApp.dll

（2）配置ADLS Gen2访问权限

在代码中添加存储账户的密钥或SAS配置：

// 使用存储账户密钥
spark.SparkContext().HadoopConfiguration().Set(
    "fs.azure.account.key.your-storage-account.dfs.core.windows.net",
    "your-storage-access-key");

// 或者使用SAS令牌
// spark.SparkContext().HadoopConfiguration().Set(
//     "fs.azure.sas.your-container.your-storage-account.dfs.core.windows.net",
//     "your-sas-token");

（3）修改存储路径

将Save路径改为ADLS Gen2的ABFSS格式：

.Save("abfss://your-container@your-storage-account.dfs.core.windows.net/path/to/delta-table");

常见注意事项 #

• 版本兼容性是核心：若出现类找不到或运行时异常，优先检查Spark、Delta、Hadoop Azure包的版本是否匹配。
• 本地运行时需确保Spark环境变量（SPARK_HOME）已正确配置，且.NET Spark版本与Spark版本兼容。

内容的提问来源于stack exchange，提问作者Norrec