C#调用Python进程复用数据加载：基于StandardInput的优化问询

方案一：单常驻Python进程，通过stdin多次触发处理 #

完全可以通过stdin实现，这是最直接的优化方案，能彻底避免重复加载大数据的开销。

实现逻辑 #

1. Python脚本启动时一次性加载大数据，随后进入循环监听标准输入（stdin）。
2. C#侧仅启动一次Python进程，保持与该进程的标准输入/输出通道连接。
3. 每次有新输入时，C#直接通过StandardInput写入数据；Python读取输入后用已加载的数据处理，再将结果写入stdout；C#从StandardOutput读取结果。
4. 当所有请求处理完成后，C#关闭输入通道，Python进程退出。

代码示例 #

Python脚本（persistent_processor.py）

import sys

# 初始化：加载大数据（此处为模拟示例）
print("Loading large dataset...", file=sys.stderr)
large_dataset = {str(i): i * 2 for i in range(1000000)}  # 模拟百万级数据
print("Dataset loaded successfully", file=sys.stderr)

# 循环监听stdin，处理多次请求
while True:
    input_line = sys.stdin.readline()
    # 若stdin关闭，退出循环
    if not input_line:
        break
    input_data = input_line.strip()
    if not input_data:
        continue
    
    # 业务处理逻辑
    result = large_dataset.get(input_data, "Key not found")
    # 输出结果并强制刷新缓冲区（关键：避免C#无法及时接收数据）
    print(result)
    sys.stdout.flush()

C#侧代码

using System;
using System.Diagnostics;

class PythonProcessorClient
{
    private static Process _pythonProcess;
    private static StreamWriter _inputWriter;
    private static StreamReader _outputReader;

    static void Main(string[] args)
    {
        // 配置并启动常驻Python进程
        var startInfo = new ProcessStartInfo
        {
            FileName = "python",
            Arguments = "persistent_processor.py",
            RedirectStandardInput = true,
            RedirectStandardOutput = true,
            RedirectStandardError = true,
            UseShellExecute = false,
            CreateNoWindow = true
        };

        _pythonProcess = Process.Start(startInfo);
        _inputWriter = _pythonProcess.StandardInput;
        _outputReader = _pythonProcess.StandardOutput;

        // 监听Python的错误输出（用于日志打印）
        _pythonProcess.ErrorDataReceived += (sender, e) =>
        {
            if (!string.IsNullOrEmpty(e.Data))
                Console.WriteLine($"[Python Log] {e.Data}");
        };
        _pythonProcess.BeginErrorReadLine();

        // 模拟多次请求
        while (true)
        {
            Console.Write("Input key (or 'exit' to quit): ");
            var input = Console.ReadLine();
            if (input?.Trim().ToLower() == "exit")
                break;

            // 写入输入并刷新
            _inputWriter.WriteLine(input);
            _inputWriter.Flush();

            // 读取处理结果
            var result = _outputReader.ReadLine();
            Console.WriteLine($"[Result] {result}");
        }

        // 清理资源
        _inputWriter.Close();
        _pythonProcess.WaitForExit();
        _pythonProcess.Dispose();
    }
}

关键注意事项 #

• 必须调用sys.stdout.flush()：Python的stdout在非终端环境下默认是块缓冲，不强制刷新会导致C#无法及时接收输出。
• 统一输入输出分隔符：示例用换行符分隔，若输入包含换行，可自定义结束标记（如\n--END--\n），避免粘包问题。
• 处理进程退出逻辑：当C#关闭StandardInput时，Python的readline()会返回空，此时退出循环即可正常终止进程。

方案二：拆分脚本（常驻加载数据+按需启动处理） #

无法仅通过stdin实现。因为按需启动的处理进程无法通过stdin访问常驻进程中已加载的数据——stdin是单向的进程输入通道，不支持进程间的数据共享。

如果坚持拆分思路，需要借助共享内存、命名管道、Socket等进程间通信机制实现数据传递，但这种方案复杂度远高于方案一，且无法规避进程启动的开销，完全没有必要采用。

内容的提问来源于stack exchange，提问作者Lennart