使用Curl保存Mastodon Streaming API输出至文件失败问题咨询

这跟文件类型完全没关系，问题出在curl的默认输出缓冲机制上。

Mastodon的Streaming API是持续输出小数据块的流式接口，而curl默认会缓冲输出内容，只有当缓冲区被填满时才会把数据写入文件——这就导致你看到的TXT文件一直是空的，其实数据还在内存缓冲区里没刷到磁盘。

解决方法很简单，给curl加上-N（或--no-buffer）参数禁用输出缓冲，这样数据就能实时写入文件：

curl -N -X GET 'https://masto.don/api/v1/streaming/public' -H 'Authorization: Bearer MYSUPERSECRETTOKEN' >> mastodon_stream.txt

另外也可以用stdbuf命令强制设置行缓冲，绕过bash的输出缓冲限制：

stdbuf -oL curl -X GET 'https://masto.don/api/v1/streaming/public' -H 'Authorization: Bearer MYSUPERSECRETTOKEN' >> mastodon_stream.txt

内容的提问来源于stack exchange，提问作者dude