在Semantic Kernel C# .NET 8.0中处理SQL Server大量结构化数据并接入内存系统的最佳方案

我之前在.NET 8项目里处理过类似的SQL Server结构化数据接入Semantic Kernel（SK）内存的需求，踩过不少坑，也总结了一套顺畅的落地流程，分享给你：

一、先做好数据抽取与预处理 #

结构化数据的核心是语义完整性，别着急直接读数据就往SK里塞，先做两步预处理：

• 用EF Core 8或者SqlDataReader批量读取数据（EF Core 8的AsSplitQuery和BatchSize能大幅提升大量数据的读取效率），优先读取业务上关联度高的实体组合（比如订单表+关联客户表+订单明细表），避免后续拆分chunk时破坏语义逻辑。
• 清理冗余字段、合并关联数据：去掉不需要的日志字段、纯技术主键（除非业务需要），把结构化数据转换成自然语言格式的文本，比如把订单数据转换成："订单ID: 123，客户名称: 张三，下单时间: 2024-05-20，订单明细: 商品A*2，商品B*1，总金额: 150元"，这样SK更容易理解语义。

示例代码（EF Core读取并预处理）：

// 假设你有EF Core的DbContext实例
using var dbContext = new YourDbContext();
var orders = await dbContext.Orders
    .Include(o => o.Customer)
    .Include(o => o.OrderItems)
    .AsSplitQuery()
    .Take(1000) // 分批量处理，避免内存溢出
    .ToListAsync();

// 转换成适合嵌入的文本格式
var processedData = orders.Select(o => new
{
    Id = o.OrderId.ToString(),
    Text = $"订单ID: {o.OrderId}，客户: {o.Customer.Name}，联系方式: {o.Customer.Phone}，下单时间: {o.OrderTime:yyyy-MM-dd HH:mm}，明细: {string.Join("; ", o.OrderItems.Select(oi => $"{oi.ProductName}*{oi.Quantity}"))}，总金额: {o.TotalAmount:C}"
});

二、针对结构化数据的Chunking策略 #

结构化数据的拆分逻辑和非结构化文本（比如文档）完全不同，别直接用SK默认的字符数拆分，要按业务实体边界来拆分：

• 单个完整业务实体作为一个Chunk：比如上面的单个订单+关联数据就是一个独立Chunk，保证语义完整，不会把一个订单的信息拆成两半。
• 如果单个实体包含超长字段（比如几千字的备注），再对这个大字段做二次拆分：用SK的TextChunker，设置合适的MaxTokens（比如取嵌入模型最大输入token数的80%，ada-002是8191，就设为6500），同时保留字段标识，比如拆分备注时加上"订单123备注片段1: xxx"。

示例代码（自定义Chunk处理）：

using Microsoft.SemanticKernel.Text;

var textChunker = new TextChunker(new TextChunkerOptions
{
    MaxTokens = 6500,
    OverlapTokens = 100 // 保留少量重叠，避免语义断裂
});

var chunks = new List<(string Id, string Text)>();
foreach (var data in processedData)
{
    // 判断文本是否需要拆分
    if (TextChunker.EstimateTokenCount(data.Text) > 6500)
    {
        var splitChunks = await textChunker.SplitTextAsync(data.Text);
        for (int i = 0; i < splitChunks.Count; i++)
        {
            chunks.Add(($"{data.Id}_chunk{i+1}", $"订单{data.Id}片段{i+1}: {splitChunks[i]}"));
        }
    }
    else
    {
        chunks.Add((data.Id, data.Text));
    }
}

三、嵌入与导入SK内存系统 #

.NET 8里可以直接用SK的内存构建器，结合合适的嵌入模型和存储后端：

• 嵌入模型优先选Azure OpenAI的text-embedding-ada-002（性价比高，支持长文本），也可以用SK兼容的开源模型（比如本地部署的Sentence-BERT）。
• 存储后端如果是企业级场景，推荐用Azure Cognitive Search（原生支持向量搜索）；本地测试的话，也可以用VolatileMemoryStore或者SQL Server作为向量存储（SK有对应的扩展包）。

示例代码（导入到SK内存）：

using Microsoft.SemanticKernel;
using Microsoft.SemanticKernel.Memory;
using Microsoft.SemanticKernel.Connectors.OpenAI;

// 创建Kernel实例
var kernel = Kernel.CreateBuilder()
    .AddOpenAITextEmbeddingGeneration("text-embedding-ada-002", "你的Azure OpenAI密钥", "你的Azure OpenAI端点")
    .Build();

// 初始化内存存储（以Azure Cognitive Search为例，可替换为其他存储）
var memoryStore = new AzureCognitiveSearchMemoryStore("你的ACS端点", "你的ACS密钥", "你的索引名称");
var memory = new SemanticTextMemory(memoryStore, kernel.Services.GetRequiredService<ITextEmbeddingGenerationService>());

// 批量导入Chunk，控制批量大小避免API限流
var batchSize = 50;
for (int i = 0; i < chunks.Count; i += batchSize)
{
    var batch = chunks.Skip(i).Take(batchSize);
    var tasks = batch.Select(chunk => memory.SaveInformationAsync(
        collectionName: "Orders",
        text: chunk.Text,
        id: chunk.Id,
        additionalMetadata: new Dictionary<string, string> { { "OrderId", chunk.Id.Split('_')[0] } }
    ));
    await Task.WhenAll(tasks);
    Console.WriteLine($"已导入 {i + batch.Count()} 条Chunk");
}

四、增量更新与维护 #

SQL Server的数据是动态变化的，不能只做一次性导入：

• 开启SQL Server的**变更数据捕获（CDC）**或者Change Tracking，追踪新增、修改、删除的数据。
• 用.NET 8的BackgroundService写个定时任务，定期抽取变更的数据，重新做预处理、Chunking、嵌入，然后更新SK内存里的对应条目（删除旧数据，导入新数据）。

五、性能优化建议 #

• 全流程批量处理：不管是读取数据、嵌入还是导入，都要分批次，避免一次性加载大量数据导致内存溢出，同时避免触发API限流。
• 缓存嵌入结果：如果某些数据不会频繁变化，可以把嵌入向量缓存到Redis或者本地文件，减少重复调用嵌入API的成本。
• 监控Chunk质量：定期抽查搜索结果，如果出现语义断裂或者搜索不准确，及时调整Chunking策略（比如调整MaxTokens或者实体拆分规则）。

内容来源于stack exchange