JavaScript上传加密后二进制文件时浏览器卡死、文件损坏问题排查
自研IM工具加密文件上传卡死问题排查
目前自研即时通讯工具的文件加密环节性能达标,但加密完成触发文件上传时,浏览器会完全卡住——性能面板持续生成海量微型GC事件,每间隔10秒就弹出脚本无响应的提示栏。
已尝试的无效实现方案
- 方案1:用FileReader读取文件为ArrayBuffer,转成普通数组完成加密,再基于加密数据生成伪File实例追加到FormData上传。结果:未加密时1.3MB原始文件上传正常,但加密后生成的伪File对象上传到服务端后,体积从1.3MB膨胀到4.7MB,文件无法正常使用。
- 方案2:把加密数据作为普通POST字段(multipart formdata编码)发送。结果:PHP服务端保存的文件出现数据损坏。
- 方案3:加密数据做Base64编码后作为POST字段发送。结果:找到高性能二进制转Base64方法后,小文件可以正常运行(直接用原生btoa()会出现编解码错误),但上传8.5MB大小的文件时,浏览器依然卡死。
- 方案4:参考MDN的XMLHttpRequest收发二进制数据方案,把附加参数放到URL查询串,直接以Blob格式发送文件。结果:浏览器依然卡死,没有正常上传。
- 方案5:向Blob构造函数传入普通数组、基于普通数组生成的Uint8Array,甚至直接传原始File实例上传。结果:依然出现相同卡死问题,哪怕是小文件也无法正常完成上传。
现场排查现象:卡死发生时,硬盘占用率为0%,待上传的文件实际体积并不大。紧急终止JS脚本后,从服务端返回的报错信息如下:
Warning: Unknown: POST Content-Length of 22146226 bytes exceeds the limit of 8388608 bytes in Unknown on line 0 Warning: Cannot modify header information - headers already sent in Unknown on line 0 Warning: session_start() [function.session-start]: Cannot send session cache limiter - headers already sent in D:\xmessenger\upload.php on line 2 Array ( )
现有实现代码
前端上传逻辑
function uploadEncryptedFile(nonce) { if (typeof window['FormData'] !== 'function' || typeof window['File'] !== 'function') return var file_input = document.getElementById('attachment') if (!file_input.files.length) return var file = file_input.files[0] var reader = new FileReader(); reader.addEventListener('load', function() { var data = Array.from(new Uint8Array(reader.result)) var encrypted = encryptFile(data, nonce) //return //这里如果提前终止逻辑,就不会出现卡死 var form_data = new FormData() form_data.append('name', file.name) form_data.append('type', file.type) form_data.append('attachment', arrayBufferToBase64(encrypted)) /* form_data.append('attachment', btoa(encrypted)) // 没有解决问题 */ form_data.append('nonce', nonce) var req = getXmlHttp() req.open('POST', 'upload.php?attachencryptedfile', true) req.onload = function() { var data = req.responseText.split(':') document.getElementById('filelist').lastChild.realName = data[2] document.getElementById('progress2').style.display = 'none' document.getElementById('attachment').onclick = null encryptFilename(data[0], data[1], data[2]) } req.send(form_data) /* 大文件场景下这些写法同样会失败 */ /* req.send(new Blob(encrypted)) */ /* req.send(new Blob(new Uint8Array(encrypted))) */ }) reader.readAsArrayBuffer(file) } function arrayBufferToBase64(buffer) { var binary = ''; var bytes = new Uint8Array(buffer); var len = bytes.byteLength; for (var i = 0; i < len; i++) { binary += String.fromCharCode(bytes[i]); } return window.btoa(binary); }
PHP上传处理逻辑
if (isset($_GET['attachencryptedfile'])) { $entityBody = file_get_contents('php://input'); if ($entityBody == '') exit(print_r($_POST, true)); else exit($entityBody); if (!isset($_POST["name"])) exit("Error"); $name = @preg_replace("/[^0-9A-Za-z._-]/", "", $_POST["name"]); $nonce = @preg_replace("/[^0-9A-Za-z+\/]/", "", $_POST["nonce"]); if ($name == ".htaccess") exit(); $data = base64_decode($_POST["attachment"]); //print_r($_POST); //exit(); if (strlen($data)>1024*15*1024) exit('<script type="text/javascript">parent.showInfo("Файл слишком большой"); parent.document.getElementById(\'filelist\').removeChild(parent.document.getElementById(\'filelist\').lastChild); parent.document.getElementById(\'progress2\').style.display = \'none\'; parent.document.getElementById(\'attachment\').onclick = null</script>'); $uname = uniqid()."_".str_pad($_SESSION['xm_user_id'], 6, "0", STR_PAD_LEFT).substr($name, strrpos($name, ".")); file_put_contents("upload/".$uname, $data); mysql_query("ALTER TABLE `attachments` AUTO_INCREMENT=0"); mysql_query("INSERT INTO `attachments` VALUES('0', '".$uname."', '".$name."', '0', '".$nonce."')"); exit(mysql_insert_id().":".$uname.":".$name); }
对应HTML表单结构
<form name="fileForm" id="fileForm" method="post" enctype="multipart/form-data" action="upload.php?attachfile" target="ifr"> <div id="fileButton" title="Прикрепить файл" onclick="document.getElementById('attachment').click()"></div> <input type="file" name="attachment" id="attachment" title="Прикрепить файл" onchange="addFile()" /> </form>
核心问题定位
- 二进制转普通数组的内存和体积膨胀问题
前端代码里var data = Array.from(new Uint8Array(reader.result))这行,直接把紧凑存储的二进制Uint8Array转成了JS普通数组。普通数组存储二进制字节时,每个单元是8字节的双精度浮点数,内存占用是原生Uint8Array(1字节/单元)的8倍;更糟的是,后续把这个数组序列化进FormData的时候,每个数字会被转成ASCII字符串拼接到请求体里,1.3MB的原始文件序列化后的请求体积刚好是4.7MB,和之前遇到的现象完全吻合。这个过程会产生大量临时对象,直接触发浏览器持续的微型GC回收,把主线程完全占满。 - 逐字节拼字符串的Base64实现的性能陷阱
现有arrayBufferToBase64函数逐字节拼接字符串的写法,对大文件完全不友好。JS字符串是不可变值,每拼接一个字节就会生成一个新的完整字符串副本,8MB的文件转换过程中会产生几十MB的临时字符串对象,进一步放大GC压力,哪怕没有序列化的问题,这个转换过程也能把浏览器卡死。 - 请求体积远超PHP默认限制
因为上述的数组膨胀、Base64编码的33%体积增长、FormData的表单编码开销,实际发出去的POST请求体积会比原始文件大3-4倍——报错里看到的22MB请求体,就是这么来的,远远超过PHP默认的8MB上传限制,直接导致服务端报错返回空数组。 - Blob构造函数的参数类型不匹配
之前尝试直接req.send(new Blob(encrypted))的写法失效,是因为encrypted是之前转换的普通数组,Blob构造函数接收到数组元素后,会把每个元素当成UTF-8字符串处理,而不是按二进制字节解析,最终生成的Blob内容完全不是预期的加密数据,自然上传失败。 - PHP端提前消费请求流
现有PHP代码里先读取php://input并直接返回的逻辑,会把整个请求体的流提前消费掉,导致PHP的表单解析流程无法正常从流里读取字段,最终$_POST是空数组,后续的文件保存逻辑根本走不到。
稳定可用的改造步骤
- 全流程抛弃普通JS数组存储二进制的写法:FileReader读到的ArrayBuffer直接传给加密函数,加密的输入输出全部用Uint8Array/ArrayBuffer类型,不要用
Array.from()转成普通数组,从根源上避免内存膨胀。 - 去掉不必要的Base64中转环节:需要把加密数据传给FormData时,直接把Uint8Array包装成Blob追加进去即可,比如
form_data.append('attachment', new Blob([encrypted]), file.name),浏览器会自动按二进制流序列化,完全省去Base64转换的开销,传输体积就是加密后的实际二进制大小,不会有额外膨胀。 - 替换低效的Base64实现(如果确实需要Base64传参):用分块拼接字符串的方式,减少逐字节拼接产生的临时字符串数量,降低GC压力。
- 调整PHP端的处理顺序:先从
$_FILES里读取上传的二进制文件流,不要提前消费php://input;根据业务需要调整PHP配置里的post_max_size和upload_max_filesize,避免超过默认8MB的限制直接报错。 - 大文件(>5MB)场景下,把文件读取、加密、上传的逻辑放到Web Worker中执行,把GC和计算压力从主线程转移到工作线程,从根源上避免主线程被占满弹出脚本无响应的提示。
内容的提问来源于stack exchange,提问作者Alex Popov
相关产品推荐
相关产品推荐

