如何对从互联网下载的文本文件进行自动压缩以节省流量？

以下方案按适用场景分类，均可实现大体积文本文件传输时的自动压缩，大幅降低流量消耗：

适用于拥有源服务器SSH权限的场景 #

• scp 压缩传输：执行命令时添加-C参数即可自动启用gzip压缩传输流，示例命令：scp -C user@remote_ip:/data/large_text.csv ~/local_path/，零配置成本，适合单次少量文件传输
• rsync 压缩同步：添加-z参数开启默认gzip压缩，也可指定压缩率更高的zstd算法，示例命令：rsync -avz --compress-choice=zstd user@remote_ip:/data/text_files/ ~/local_text_files/，支持断点续传、增量同步，是批量大体积文本文件同步的首选方案
• SFTP 压缩模式：命令行sftp添加-C参数即可启用压缩，图形化客户端（如FileZilla、WinSCP）可在站点配置页勾选「传输压缩」选项开启功能。

适用于源站为Web服务器的场景 #

• 源站开启静态压缩：在源站Nginx、Apache等服务中配置gzip、brotli压缩规则，命中规则的文本类文件（txt、json、csv、log等）会自动压缩后传输，客户端会自动解压，无需额外操作，文本文件压缩率普遍可达原体积的10%~30%
• 下载工具主动请求压缩：wget、curl等命令行工具可主动请求压缩内容，示例命令：
  • curl 自动处理压缩：curl --compressed https://example.com/large.log -o local_large.log
  • wget 手动处理压缩：wget -qO- --header="Accept-Encoding: gzip, br" https://example.com/large.log | gunzip > local_large.log

通用中转/跨网传输场景 #

• 本地反向代理中转：本地部署Nginx反向代理，配置压缩规则后所有下载请求走代理转发，代理回源后自动压缩内容再返回本地，适合源站未开启压缩、无权限修改源站配置的场景
• P2P压缩传输工具：使用croc等点对点传输工具，默认开启传输压缩，无需公网IP即可实现跨网传输，服务端执行croc send /data/text_files生成验证码，本地执行croc [验证码]即可接收自动压缩的文件流。
• 对象存储传输服务：主流公有云对象存储服务均默认支持传输链路压缩配置，将源文件上传至对象存储后再下载，即可享受自动压缩的传输链路。

内容的提问来源于stack exchange，提问作者georg.minsky