如何使用ChoParquetWriter将含BLOB/CLOB/NCLOB列的DataTable写入Parquet文件

问题根源 #

ChoMissingRecordFieldException 是因为直接向 ChoParquetWriter 传入 DataTable 时，组件无法将DataRow的列识别为标准对象属性；同时未针对Oracle BLOB列的二进制类型做适配处理。

解决方案 #

1. 优化DataTable获取逻辑（修复资源泄漏+确认BLOB类型） #

原代码存在连接资源未妥善释放、冗余变量的问题，优化后确保BLOB列以byte[]类型存储（OracleDataAdapter默认会自动转换BLOB到byte[]，此处做显式验证）：

public DataTable GetDataTableFromOracleTable(string connectionString, string owner, string tableName)
{
    using (OracleConnection connection = new OracleConnection(connectionString))
    {
        connection.Open();
        using (OracleCommand dataCmd = new OracleCommand($"SELECT * FROM {owner}.{tableName}", connection))
        {
            using (OracleDataAdapter adapter = new OracleDataAdapter(dataCmd))
            {
                DataTable table = new DataTable($"{owner}_{tableName}");
                adapter.Fill(table);
                
                // 标记BLOB列，便于后续处理
                foreach (DataColumn col in table.Columns)
                {
                    if (col.DataType == typeof(byte[]))
                    {
                        col.ExtendedProperties["IsBinary"] = true;
                    }
                }
                return table;
            }
        }
    }
}

2. 使用ChoDataReader包装DataTable写入Parquet #

通过ChoDataReader将DataTable的行转换为动态对象，解决字段匹配问题，同时配置BLOB列的二进制写入逻辑：

using (var dataReader = ChoDataReader.Load(testTable))
using (var parquetWriter = new ChoParquetWriter(parquetSourcePath)
    .Configure(c => 
    {
        c.CompressionMethod = Parquet.CompressionMethod.Gzip;
        // 关闭大小写敏感，避免Oracle列名大小写差异导致匹配失败
        c.CaseSensitive = false;
        // 忽略额外/缺失列，增强兼容性
        c.IgnoreExtraColumns = true;
        c.IgnoreMissingColumns = true;
    })
    .Setup(s => s.BeforeRecordFieldWrite += (sender, args) =>
    {
        // 转换DBNull为null，避免序列化异常
        if (args.Source == DBNull.Value)
            args.Source = null;
        // 确保BLOB列以byte[]传递，Parquet会自动识别为二进制类型
        else if (args.Source is byte[] blobData)
            args.Source = blobData;
    }))
{
    parquetWriter.Write(dataReader);
}

3. 可选：显式列映射（针对特殊列名场景） #

如果Oracle表列名包含特殊字符（如空格、非英文字符），可显式指定Parquet列映射来规避匹配问题：

.Configure(c => 
{
    c.Columns = new List<ChoParquetColumn>
    {
        new ChoParquetColumn("TABLE_ID", typeof(int)),
        new ChoParquetColumn("DOCUMENT_BLOB", typeof(byte[]))
        // 按需添加其他列映射
    };
})

内容的提问来源于stack exchange，提问作者user24470430