Cloudflare Workers中WebStreams的Brotli解压缩问题咨询

我将大量数据以文件形式存储在Cloudflare的R2中，数据量接近TB级，用Brotli压缩后降至约500MB。现在尝试通过Workers暴露这些数据并进行过滤，但遇到问题：Cloudflare提供的WebStreams仅支持gzip解压缩的DecompressionStream，不支持Brotli。

曾尝试转换为gzip处理，代码如下：

let stm = resp.body
  .pipeThrough(new DecompressionStream("gzip"))
  .pipeThrough(ApplyFilter(sDate, eDate))
  .pipeThrough(new CompressionStream("gzip"))
;

但gzip的压缩率远不如Brotli，示例数据对比：

261M   1158172.data    (100%)
2.8M   1158172.data.gz (  1%)
 78K   1158172.data.br (  0.03%)

更新：曾尝试转换为Node流并使用node的zlib.createBrotliDecompress，但Cloudflare Workers不支持zlib模块，报错：

Uncaught Error: No such module "node:zlib".

疑问：

1. 是否有支持WebStreams的Brotli解压缩工具？
   • 之前一直依赖浏览器处理该操作
2. 能否让Worker或R2自动进行解压缩？
   • 所有浏览器均支持Brotli，能否借此实现？
3. 是否应该直接将数据传给浏览器处理？
   • 希望避免这种方式，因为想由服务器控制数据暴露范围
4. 是否有其他未考虑到的解决方案？

1. 支持WebStreams的Brotli解压缩工具 #

目前Cloudflare Workers原生环境没有内置Brotli的WebStream解压缩接口，但可以使用纯JS实现的WASM版Brotli解码库（如brotli-wasm），将其封装为TransformStream后接入现有WebStream管道。实现逻辑大致为：

• 引入WASM解码库
• 分段读取响应流的二进制数据并传入解码器处理
• 将解码后的数据转换为WebStream格式，再对接你的过滤逻辑

2. Worker或R2自动解压缩 #

• R2侧：R2仅作为对象存储，不支持自动解压缩存储的Brotli文件，不会对存储内容做主动处理。
• Worker侧：无原生自动解压缩Brotli的能力，需通过上述WASM库手动实现。如果想利用浏览器的Brotli支持，只能直接返回原始Brotli文件，但这样无法在Worker层做数据过滤——浏览器解压缩后的数据不受服务器控制，不符合你的需求。

3. 是否直接传给浏览器处理 #

不建议这么做。直接传递完整Brotli文件会导致你无法在服务器端控制数据范围，用户能获取全部内容，违背你希望服务器管控数据暴露的初衷。

4. 其他备选方案 #

• 预分片+预过滤：如果过滤规则（如时间范围sDate/eDate）相对固定，可提前将原始数据按规则分片，用Brotli压缩后存储到R2。Worker只需根据请求读取对应分片的Brotli文件，既保留高压缩率，又能控制数据范围（如需二次处理，再用WASM解码后做轻量过滤）。
• 优化过滤逻辑适配流式处理：如果数据是行结构化的，可尝试将Brotli解码后的流式数据直接按行处理过滤，无需完全解压缩后再操作，减少内存占用，提升Worker处理效率。

内容的提问来源于stack exchange，提问作者Jefferey Cave