System.Data.IDataReader的只写对应接口实现方案咨询

核心结论 #

针对你的场景，最简洁且贴合需求的方案是自定义专属的IDataWriter接口——微软提供的IDataWriter（属于System.IO.Pipelines体系）确实不匹配你的数据行/字段级写入需求，而IDataTable会将全量数据加载到内存，完全不符合实时写入的要求，直接排除。

自定义IDataWriter的实现思路 #

既然读取逻辑已经基于IDataReader的单向、逐行逐字段模式，写入接口可以做对称设计，保证松耦合和插件化扩展性：

1. 定义接口
   参考IDataReader的能力反向设计只写接口，包含元数据初始化、逐字段写入、行结束、刷新等核心方法：

public interface IDataWriter : IDisposable
{
    // 初始化字段元数据（对应IDataReader的GetSchemaTable）
    void Initialize(IEnumerable<ColumnMetadata> columns);
    
    // 写入当前行的指定字段值
    void WriteField(int ordinal, object? value);
    
    // 结束当前行的写入，触发行级提交（可选实时刷出）
    void EndRow();
    
    // 手动触发数据刷出到目标源
    void Flush();
}

// 配套字段元数据类，对应读取侧的字段信息
public class ColumnMetadata
{
    public string Name { get; set; }
    public Type DataType { get; set; }
    // 可添加其他必要属性，比如长度、精度等
}

2. 插件化实现
   针对不同输出源（如SQL数据库、CSV文件、Excel等）分别实现IDataWriter：

• 数据库场景：基于DbCommand做参数化查询，EndRow时执行插入语句，Flush时批量提交事务
• CSV场景：Initialize时写入表头，EndRow时写入一行文本，Flush时刷新文件流
  所有实现遵循统一接口，处理模块无需关心具体输出源，完全符合松耦合要求。

3. 与处理模块集成
   处理逻辑和读取侧对称：逐行处理数据后，通过IDataWriter逐字段写入，调用EndRow完成当前行，过程中按需调用Flush实现实时写入，无需缓存全量数据。

为什么不选其他方案？ #

• IDataTable：本质是内存数据集，必须加载全量数据才能写入，违背你“实时写入、低内存占用”的核心需求，直接排除。
• 微软官方IDataWriter：属于管道流写入API，面向字节流场景，和你需要的行/字段级数据写入完全不匹配，无法复用现有处理逻辑的元数据和逐行模式。

内容的提问来源于stack exchange，提问作者H.Hasenack