如何使用C# .NET增量批量读取EBCDIC大型机格式文件记录

核心实现原则：基于你已验证可用的逐行解析逻辑做计数分批，全程维护文件流的读取位置，避免重复扫描文件，同时适配可变记录长度、可变Schema的特性，不会出现偏移错位问题。

核心实现逻辑 #

• 固定单批次读取的记录阈值（题面要求为5条，可根据实际性能调整），维护流位置标记变量记录上一轮读取的终点，避免每轮迭代都从文件头开始扫描。
• 文件流全程保持状态连续，不要在每轮读取结束后释放流实例；如果需要跨任务断点续跑，持久化流位置标记即可，下次启动直接从标记位置恢复读取。
• 单轮读取时循环调用现有逐行解析逻辑，直到读满阈值条数或者抵达文件末尾（EOF），记录当前流位置后返回本批次数据，进入下一轮迭代。
• 禁止通过固定字节偏移量计算批量读取位置：由于你的文件是可变记录长度、可变Schema，固定偏移会直接导致记录截断、解析错位。

可直接复用的代码实现 #

如果是.NET Core/.NET 5+环境，需要先引入编码支持包，在程序启动入口注册EBCDIC编码提供程序：

// 引入Nuget包System.Text.Encoding.CodePages后，在Program.cs启动阶段执行
Encoding.RegisterProvider(CodePagesEncodingProvider.Instance);

分批解析核心代码：

using System;
using System.Collections.Generic;
using System.IO;
using System.Text;

public class MainframeEBCDICParser
{
    // 单批读取记录数，题面要求为5，生产环境可调整为100-1000平衡IO与内存开销
    private const int BatchReadCount = 5;
    // 根据实际大型机编码调整，常用EBCDIC编码为IBM037、IBM1047
    private static readonly Encoding _ebcdicEnc = Encoding.GetEncoding("IBM037");
    private long _lastReadPosition = 0;
    private bool _isFileEnd = false;

    /// <summary>
    /// 增量分批迭代读取文件
    /// </summary>
    /// <param name="filePath">EBCDIC源文件路径</param>
    /// <returns>每轮迭代返回一批解析后的记录</returns>
    public IEnumerable<List<object>> ParseInBatches(string filePath)
    {
        // 开启FileShare.ReadWrite避免锁文件，适配大型机文件可能的同步写入场景
        using var fileStream = new FileStream(filePath, FileMode.Open, FileAccess.Read, FileShare.ReadWrite);
        using var streamReader = new StreamReader(fileStream, _ebcdicEnc);
        
        // 恢复到上一轮读取的终止位置
        fileStream.Position = _lastReadPosition;

        while (!_isFileEnd)
        {
            var currentBatch = new List<object>(BatchReadCount);
            for (int i = 0; i < BatchReadCount; i++)
            {
                // 直接复用你已经实现的逐行解析逻辑，读到EOF时返回null即可
                var parsedRecord = ReadSingleRecordInstance(streamReader);
                if (parsedRecord == null)
                {
                    _isFileEnd = true;
                    break;
                }
                currentBatch.Add(parsedRecord);
            }

            // 记录当前流位置，供下一轮迭代使用
            _lastReadPosition = fileStream.Position;

            if (currentBatch.Count > 0)
            {
                yield return currentBatch;
            }
        }

        // 全部读取完成后重置状态，支持解析新文件
        _lastReadPosition = 0;
        _isFileEnd = false;
    }

    /// <summary>
    /// 你已有的逐行读取、Schema判断、EBCDIC转ASCII、实体映射逻辑
    /// </summary>
    private object ReadSingleRecordInstance(StreamReader reader)
    {
        // 替换为你现有的逐行解析实现即可，读取到文件末尾时返回null
        throw new NotImplementedException("填入已验证的单条记录解析逻辑");
    }
}

调用方式示例 #

var parser = new MainframeEBCDICParser();
// 迭代读取每一批数据，直到EOF
foreach (var batch in parser.ParseInBatches("YOUR_EBCDIC_FILE_PATH"))
{
    // 这里执行你预设的单批记录处理逻辑
    Console.WriteLine($"当前批次读取到{batch.Count}条记录");
}

注意事项 #

如果需要跨进程、跨服务断点续解析，只需要把_lastReadPosition的值持久化到存储介质中，下次解析初始化时给该变量赋值即可，不需要重新读取已经处理过的记录，完全满足增量读取要求。

• 批大小不需要固定为5，可根据你的处理逻辑吞吐量、服务器内存调整，数值越大IO开销越低，但单批内存占用越高。
• 逐行解析逻辑不需要做任何修改，完全复用现有经过验证的实现即可，最大程度降低引入bug的风险。

内容的提问来源于stack exchange，提问作者Shashank Upadhye