无需POCO，如何将ML.NET IDataView保存至数据库表？

你可以通过筛选IDataView列+利用ML.NET内置的数据读取/批量插入能力来实现，完全不需要提前定义POCO类型，核心思路是先剔除不需要的独热编码列，再直接将处理后的IDataView数据写入数据库。

方案一：使用CreateDataReader+SqlBulkCopy（推荐，简洁高效） #

这种方法直接将IDataView转换为DbDataReader，配合SqlBulkCopy批量插入，代码量少且性能优异：

// 1. 定义需要保留的列：输入列 + 预测Score列
var targetColumns = new[] { "InputCol1", "InputCol2", "Score" };
// 2. 筛选出目标列，移除独热编码列
var filteredData = mlContext.Data.CreateSelectColumns(predictions, targetColumns);

// 3. 批量写入数据库
using (var dbConn = new SqlConnection("你的数据库连接字符串"))
{
    dbConn.Open();
    using (var bulkCopy = new SqlBulkCopy(dbConn))
    {
        bulkCopy.DestinationTableName = "你的目标表名";
        // 开启流式传输，降低内存占用
        bulkCopy.EnableStreaming = true;
        // 如果DataView列名和数据库表列名一致，会自动映射，无需手动配置

        // 将IDataView转为DbDataReader，直接写入数据库
        using (var dataReader = mlContext.Data.CreateDataReader(filteredData))
        {
            bulkCopy.WriteToServer(dataReader);
        }
    }
}

方案二：手动遍历DataView游标（灵活可控） #

如果需要对数据做自定义处理，可以通过DataViewSchema获取列信息，逐行读取数据后插入：

var targetColumns = new[] { "InputCol1", "InputCol2", "Score" };
var filteredData = mlContext.Data.CreateSelectColumns(predictions, targetColumns);
var schema = filteredData.Schema;

using (var cursor = filteredData.GetRowCursor(schema))
{
    // 为每个列创建数据读取器
    var valueGetters = new Action<object>[schema.Count];
    for (int i = 0; i < schema.Count; i++)
    {
        valueGetters[i] = cursor.GetGetter<object>(schema[i]);
    }

    using (var dbConn = new SqlConnection("你的数据库连接字符串"))
    {
        dbConn.Open();
        using (var bulkCopy = new SqlBulkCopy(dbConn))
        {
            bulkCopy.DestinationTableName = "你的目标表名";
            // 映射列（列名一致时可省略）
            foreach (var col in schema)
            {
                bulkCopy.ColumnMappings.Add(col.Name, col.Name);
            }

            var dataTable = new DataTable();
            // 根据DataViewSchema构建DataTable结构
            foreach (var col in schema)
            {
                dataTable.Columns.Add(col.Name, GetClrType(col.Type));
            }

            // 遍历每一行数据
            while (cursor.MoveNext())
            {
                var row = dataTable.NewRow();
                for (int i = 0; i < schema.Count; i++)
                {
                    object value = null;
                    valueGetters[i](ref value);
                    row[i] = value ?? DBNull.Value;
                }
                dataTable.Rows.Add(row);

                // 每1000行批量插入一次，避免内存溢出
                if (dataTable.Rows.Count == 1000)
                {
                    bulkCopy.WriteToServer(dataTable);
                    dataTable.Clear();
                }
            }

            // 插入剩余的行
            if (dataTable.Rows.Count > 0)
            {
                bulkCopy.WriteToServer(dataTable);
            }
        }
    }
}

// 辅助方法：将ML.NET列类型转换为CLR类型
private static Type GetClrType(ColumnType columnType)
{
    return columnType switch
    {
        ColumnType.Boolean => typeof(bool),
        ColumnType.Single => typeof(float),
        ColumnType.Double => typeof(double),
        ColumnType.Int32 => typeof(int),
        ColumnType.Int64 => typeof(long),
        ColumnType.String => typeof(string),
        // 根据你的实际列类型补充其他类型
        _ => typeof(object)
    };
}

关键说明 #

1. 两种方案都不需要定义POCO，完全依赖DataViewSchema获取列元数据；
2. 优先使用方案一，CreateDataReader是ML.NET专门为数据导出提供的API，内部做了优化，代码更简洁；
3. 如果DataView列名和数据库表列名不一致，需要手动配置SqlBulkCopy.ColumnMappings做映射。

内容的提问来源于stack exchange，提问作者PajLe