如何通过WebAssembly在浏览器端查询超出内存容量的大型数据集

回答 #

结论

该场景完全可以通过浏览器端WebAssembly实现，目前主流现代浏览器均默认支持对应能力，无需额外开启实验标志即可落地。

支持的浏览器范围

• Chrome 86+、Edge 86+、Safari 15.2+、Firefox 111+ 均默认支持核心依赖的文件随机访问能力
• 更低版本的Chromium内核浏览器可手动开启#enable-file-system-access实验标志启用相关能力

具体实现方案

你猜测的实现方向是正确的，核心逻辑是绕开Wasm的内存上限限制，不将完整文件加载到内存中，仅按需读取查询需要的文件片段，大致步骤如下：

1. 获取本地文件访问权限
   通过浏览器的文件选择弹窗让用户主动授权访问目标大文件，拿到对应文件句柄后，即可支持按指定偏移量、指定长度读取任意位置的文件内容，无需加载完整文件。
2. Wasm侧文件操作桥接
   如果用Emscripten编译C到Wasm，你可以自定义适配层，将C代码中用到的fopen、fseek、fread等文件操作接口，桥接到浏览器的文件读取API上。C++侧的业务代码完全不需要修改，就可以像原生环境下一样操作本地大文件，所有文件读取请求都会被转发到浏览器侧执行，不会占用Wasm的4GB内存空间。
3. 查询逻辑优化
   和原生环境下的大文件查询优化逻辑一致：你可以采用列式存储、预建索引、分区存储等方案进一步降低需要读取的文件量。比如要执行SELECT * FROM table WHERE id=2的查询，不需要扫描全表，仅需要读取索引中ID=2对应的文件偏移位置的少量数据即可，哪怕源文件有500GB，单次查询实际读取的数据量可能只有几KB，完全不会受内存上限限制。

降级兼容方案

如果遇到不支持文件系统访问API的旧版浏览器，也可以使用File对象的流式读取接口逐块加载文件内容，跳过不需要的文件片段，虽然随机读取性能会有所下降，但依然可以实现远大于内存的文件查询需求。 #

内容的提问来源于stack exchange，提问作者David542