如何动态逐行处理无LF终止符的程序输出（如CURL）

问题描述 #

CURL等工具输出进度信息时，会每隔约1秒生成一行仅以**回车符(CR, 0x0D)**结尾的内容，而非标准的CRLF（回车+换行）。需要实时提取这些行中的特定字段（如下载速度、已下载字节数、进度百分比）进行后续处理，但常规方法存在瓶颈：

• FOR /F循环会等待CURL执行完毕后才批量输出结果，完全无法实时处理：

  FOR /F "delims=" %%x in ('curl ... http://some_url 2^>^&1') do echo %%x
  

• 管道配合JREPL替换CR为CRLF的方案同样无效——Windows管道默认会缓存数据，直到检测到LF才会将内容传递给后续程序，导致必须等待CURL执行完成才能输出：

  curl ... http://some_url 2>&1 | jrepl "\r([^\n])" "\r\n$1" /xseq
  

复现环境 #

以下bears.bat脚本可精准模拟CURL的输出行为：首尾行使用CRLF，中间行仅以CR结尾，每秒输出一次：

:: bears.bat
@echo off
setlocal enabledelayedexpansion

:: 定义换行符(LF, 0x0A)，空行请勿删除
(set LF=^

)

:: 获取回车符(CR, 0x0D)
for /F %%a in ('copy /Z "%~F0" NUL') do set "CR=%%a"

:: 倒计时上限，默认4秒，可通过命令行参数指定
if "%1"=="" (set /a high=4) else (set /a high=%1)

echo Hello bears
for /l %%i in (%high%,-1,0) do (
    if %%i gtr 0 (
        <nul set /p="Counter: %%i!CR!" 
    ) else (
        <nul set /p="Counter: %%i!CR!!LF!"
    )
    :: 暂停1秒
    if %%i gtr 0 ping 127.0.0.1 -n 2 >nul
)
exit /b

解决方案 #

要绕过Windows管道的LF触发限制，必须直接读取程序的原始输出流，逐字符解析并实时响应CR：

方案1：VBScript实时流处理 #

编写stream_handler.vbs，逐字符读取输入流，遇到CR就立即输出缓存内容并重置：

Set stdin = WScript.StdIn
Set stdout = WScript.StdOut
Dim buffer
buffer = ""

Do While Not stdin.AtEndOfStream
    char = stdin.Read(1)
    If Asc(char) = 13 Then ' 检测CR字符(ASCII 13)
        If buffer <> "" Then
            stdout.WriteLine buffer
            buffer = ""
        End If
    Else
        buffer = buffer & char
    End If
Loop
' 处理最后一行剩余内容
If buffer <> "" Then
    stdout.WriteLine buffer
End If

使用命令：

curl ... http://some_url 2>&1 | cscript //nologo stream_handler.vbs | your_processing_script.bat

方案2：PowerShell实时流处理 #

PowerShell可直接操作原始输入流，逐字符解析CR并实时输出：

$stdin = [Console]::OpenStandardInput()
$stdout = [Console]::OpenStandardOutput()
$buffer = [System.Text.StringBuilder]::new()
$byteBuffer = [byte[]]::CreateInstance([byte], 1)

While ($stdin.Read($byteBuffer, 0, 1) -gt 0) {
    $char = [char]$byteBuffer[0]
    If ($char -eq "`r") {
        If ($buffer.Length -gt 0) {
            $output = $buffer.ToString() + "`n"
            $stdout.Write([System.Text.Encoding]::ASCII.GetBytes($output), 0, $output.Length)
            $buffer.Clear() | Out-Null
        }
    } Else {
        $buffer.Append($char) | Out-Null
    }
}
# 处理流末尾的剩余内容
If ($buffer.Length -gt 0) {
    $output = $buffer.ToString() + "`n"
    $stdout.Write([System.Text.Encoding]::ASCII.GetBytes($output), 0, $output.Length)
}

保存为stream_handler.ps1，使用命令：

curl ... http://some_url 2>&1 | powershell -ExecutionPolicy Bypass -File stream_handler.ps1 | your_processing_script.bat

方案原理 #

两种方案均绕过了Windows管道的缓存机制，通过逐字符读取原始输入流，一旦检测到CR就立即将缓存内容转换为标准CRLF格式输出，确保后续处理脚本可以实时接收每一行数据，无需等待源程序执行完毕。

内容的提问来源于stack exchange，提问作者user1581016