如何在不写入磁盘的情况下为外部程序动态生成虚拟输入文件？

针对你的场景——外部程序仅支持读取文件系统路径、不接受标准输入重定向，同时希望避免将大量重复行写入物理磁盘——以下是几个实用方案：

方案1：命名管道模拟文件（推荐，适合超大流式输入） #

Windows的命名管道可以通过\\.\pipe\PipeName的路径形式被外部程序当作普通文件打开。你的C#程序可以作为管道服务器，按需生成重复行数据并流式发送，完全不需要磁盘存储，尤其适合超大规模的重复行输入。

实现步骤 #

1. 创建命名管道服务器，监听外部程序的连接请求；
2. 启动外部程序，将管道路径作为输入文件参数传递；
3. 当外部程序开始读取管道时，动态生成重复行并写入管道，直到读取完成。

代码示例 #

using System;
using System.IO.Pipes;
using System.Diagnostics;
using System.Text;
using System.IO;

class DynamicInputViaPipe
{
    static void Main(string[] args)
    {
        var pipeName = "RepeatLineInputPipe";
        var pipePath = $"\\\\.\\pipe\\{pipeName}";

        // 配置外部程序启动参数
        var procStartInfo = new ProcessStartInfo
        {
            FileName = "your_external_program.exe",
            Arguments = $"--input {pipePath}", // 替换为外部程序实际的输入参数格式
            UseShellExecute = false
        };

        // 初始化管道服务器
        using var pipeServer = new NamedPipeServerStream(pipeName, PipeDirection.Out, 1, PipeTransmissionMode.Byte);
        
        // 启动外部程序
        using var externalProc = Process.Start(procStartInfo);
        
        // 等待外部程序连接管道
        pipeServer.WaitForConnection();

        try
        {
            // 定义要重复的行内容
            var repeatedLine = "Your repeated line content here\n";
            var lineBytes = Encoding.UTF8.GetBytes(repeatedLine);

            // 按需生成重复行（这里示例生成100万行，可根据需求调整或循环直到管道断开）
            for (var i = 0; i < 1000000; i++)
            {
                pipeServer.Write(lineBytes, 0, lineBytes.Length);
                pipeServer.Flush(); // 确保数据立即发送到外部程序
            }
        }
        finally
        {
            pipeServer.Close();
            externalProc.WaitForExit();
        }
    }
}

注意事项 #

• 绝大多数使用标准Win32文件API的Windows程序都支持读取管道路径；
• 如果外部程序需要对输入文件进行随机读写（如seek操作），管道不适用，需改用内存映射文件方案。

方案2：内存映射文件（适合需要随机访问的场景） #

如果外部程序需要对输入文件进行随机访问，命名管道的流式特性无法满足，此时可以用内存映射文件：在内存中创建虚拟文件，写入重复行数据，再通过临时文件路径让外部程序访问（临时文件为稀疏文件，不占用物理磁盘空间）。

代码示例 #

using System;
using System.IO.MemoryMappedFiles;
using System.Diagnostics;
using System.Text;
using System.IO;

class DynamicInputViaMemoryMappedFile
{
    static void Main(string[] args)
    {
        var repeatedLine = "Your repeated line content here\n";
        var totalLines = 1000000;
        var lineBytes = Encoding.UTF8.GetBytes(repeatedLine);
        var totalSize = lineBytes.Length * (long)totalLines;

        // 创建临时文件（稀疏文件，不占用物理磁盘）
        var tempFilePath = Path.GetTempFileName();
        try
        {
            using var fileStream = new FileStream(tempFilePath, FileMode.Open, FileAccess.ReadWrite, FileShare.ReadWrite);
            // 设置文件大小（稀疏文件特性：仅在写入数据时占用磁盘，这里实际数据在内存映射中）
            fileStream.SetLength(totalSize);

            // 创建关联到临时文件的内存映射
            using var mmf = MemoryMappedFile.CreateFromFile(
                fileStream, 
                "TempInputMMF", 
                totalSize, 
                MemoryMappedFileAccess.ReadWrite, 
                null, 
                HandleInheritability.Inheritable, 
                false);

            // 将重复行写入内存映射
            using var stream = mmf.CreateViewStream();
            for (var i = 0; i < totalLines; i++)
            {
                stream.Write(lineBytes, 0, lineBytes.Length);
            }

            // 启动外部程序处理内存映射的临时文件
            var procStartInfo = new ProcessStartInfo
            {
                FileName = "your_external_program.exe",
                Arguments = $"--input {tempFilePath}",
                UseShellExecute = false
            };

            using var externalProc = Process.Start(procStartInfo);
            externalProc.WaitForExit();
        }
        finally
        {
            // 清理临时文件
            File.Delete(tempFilePath);
        }
    }
}

注意事项 #

• 内存映射文件会占用与虚拟文件大小相当的系统内存，若输入规模极大（如几十GB），此方案可能导致内存不足；
• 稀疏文件仅在Windows系统中原生支持，跨平台场景需调整。

方案3：内存虚拟磁盘（RamDisk，可选） #

若系统允许，可创建一个基于内存的虚拟磁盘，将临时文件写入该磁盘。此方案兼容性最好（支持所有依赖文件系统的程序），但需提前配置RamDisk驱动，且会占用系统内存，灵活性不如前两个方案。

内容的提问来源于stack exchange，提问作者Bugmaster