咨询可实现Azure Function App直写Delta表的.NET包

存在原生可用的官方.NET包支持该场景，不需要依赖Databricks运行时中转，具体说明如下：

• 核心可用包为官方维护的Delta Lake .NET，适配.NET 6/7/8版本，可直接在Azure Function App中引用，直接对接存储Delta表的Azure存储账户（支持ADLS Gen2、标准Blob Storage）。
  • 认证层面支持存储连接字符串、Azure托管身份两种常用鉴权方式，和Azure Function的原生配置体系完全适配；写入时支持Append、Overwrite等常用模式，会自动维护Delta事务日志，保证ACID特性。
  • 版本兼容层面，该库目前支持Delta 2.x及以上表格式，和Databricks Runtime 11+内置的Delta版本完全兼容，写入后的表可以直接在你现有Databricks处理流程中正常读取，不会出现格式冲突。
• 不建议使用Parquet.Net等底层Parquet写入库自行实现Delta写入逻辑：Delta表的事务日志、版本校验、快照隔离等特性有严格的协议要求，自行实现极易出现表元数据损坏，导致后续Databricks侧读取失败。

以下是Function中核心写入逻辑的示例代码：

// 需提前通过NuGet安装DeltaLake、Azure.Storage.Blobs依赖
using DeltaLake;
using Azure.Storage.Blobs;

// 初始化Delta表客户端，指向Azure存储中的目标Delta表路径
var blobServiceClient = new BlobServiceClient(Environment.GetEnvironmentVariable("AzureStorageConnectionString"));
var deltaTable = await DeltaTable.CreateAsync(new DeltaTableOptions
{
    TableLocation = new Uri("abfss://<容器名>@<存储账户名>.dfs.core.windows.net/<目标Delta表存储路径>"),
    StorageCredentials = new DeltaLake.Storage.AzureBlobStorageCredentials(blobServiceClient)
});

// 读取Function接入的JSON数据，转换为Apache Arrow格式后写入
var incomingJsonData = await req.ReadFromJsonAsync<IEnumerable<YourBusinessDataModel>>();
var arrowRecordBatch = ConvertToArrowRecordBatch(incomingJsonData); // 按业务数据模型构建Arrow数据批次
await deltaTable.WriteAsync(arrowRecordBatch, saveMode: SaveMode.Append);

结合你当前搭建3-hop medallion架构的场景，还有一个运维成本更低的可选方案：Function接入JSON后不需要直接写入Delta表，仅将原始JSON文件落盘到Bronze层的原始数据目录，后续通过Databricks Auto Loader做增量自动接入、转换写入各层Delta表即可，该方案不需要在Function侧维护Delta写入的版本兼容、异常重试逻辑，更符合分层架构的职责拆分原则。

内容的提问来源于stack exchange，提问作者Sindre Aalhus