管道捕获stdout为空且编码异常，终端输出正常的原因排查

咱们先把你的核心疑问直接说透：当程序输出到终端和管道时，编码策略确实会不一样，这就是你遇到问题的根源。

为什么终端和管道的编码逻辑有差异？ #

• 终端是交互式环境，程序能通过系统调用（比如读取locale相关环境变量，或者检测终端设备的属性）知道终端支持的编码（现在绝大多数系统默认是UTF-8），所以会自动用终端兼容的编码输出内容，哪怕有非ASCII字符也能正常显示。
• 但管道属于非交互式的“字节流通道”，很多老工具或者遵循传统Unix设计的程序，会默认回退到ASCII编码输出——这是因为早期Unix管道的设计假设是处理纯ASCII文本。当输出内容里有ASCII无法表示的字符（比如目标网站是挪威的，肯定有å、ä、ø这类特殊字符），用ASCII编码就会触发错误，导致程序崩溃，最终管道里自然就只有空内容或者报错信息了。

你的命令出问题的具体原因 #

你执行的curl -s 'https://www.sunwind.no/Outlet/' | html2text | wc，问题出在html2text这个工具上：

• 当它的输出目标是终端时，它会自动适配终端的UTF-8编码，完美处理网页里的挪威语特殊字符；
• 但当输出到管道时，它切换到了默认的ASCII编码模式，网页里的非ASCII字符无法被编码，直接抛出了你看到的Traceback错误，程序异常终止后，后面的wc根本读不到有效内容，结果自然就是空文件或者错误输出。

解决办法 #

要让html2text在管道场景下也用正确的编码，有几个简单的方案：

1. 强制指定输出编码：给html2text加上--encoding=utf-8参数，修改后的命令如下：

   curl -s 'https://www.sunwind.no/Outlet/' | html2text --encoding=utf-8 | wc
   

2. 设置环境变量强制UTF-8：如果工具支持，可以通过LC_ALL或LANG环境变量全局指定编码，比如：

   LC_ALL=en_US.UTF-8 curl -s 'https://www.sunwind.no/Outlet/' | html2text | wc
   

3. 检查工具文档调整行为：有些工具会通过isatty系统调用判断输出是否是终端，你可以查看html2text的官方文档，确认它的编码处理逻辑，有没有其他参数可以强制它始终用UTF-8输出。

快速验证小技巧 #

你可以先单独执行curl -s 'https://www.sunwind.no/Outlet/' | html2text，终端能正常输出的话，说明终端编码没问题；再执行curl -s 'https://www.sunwind.no/Outlet/' | html2text > test.txt，打开test.txt看看内容——大概率会看到编码乱码或者文件为空，这就能实锤管道场景下的编码问题了。

内容的提问来源于stack exchange，提问作者oligofren