Android应用使用AsyncTask获取网页HTML,仅指定站点正常其余场景模拟器卡死无返回
问题根本诱因
- 主线程被同步阻塞触发ANR:在onCreate中调用
task.execute(xxx).get()的写法,会强制阻塞UI主线程,等待后台下载任务完全执行完成才会继续执行后续逻辑。zappycode链接可以正常运行,是因为该站点响应速度快、页面体积极小,下载耗时几乎可以忽略;而IMDB、维基百科的页面体积更大、网络响应链路更长,甚至触发站点反爬校验,下载耗时远超系统默认的ANR触发阈值(5秒),直接导致整个界面无响应,所有按键、交互操作全部失效。 - 低效的内容读取逻辑放大卡顿:下载逻辑中逐字符读取流内容,再通过
result += current逐字符拼接字符串。一方面Java的String对象是不可变的,每次拼接都会生成新的String实例,面对几十上百KB的HTML页面,会产生大量无效的对象分配和GC开销,大幅拉长下载耗时;另一方面初始化String result = null后直接做拼接,第一次拼接就会把"null"作为字符串开头,导致最终拿到的内容从开头就存在错误。 - 缺少请求头配置触发站点反爬拦截:IMDB、维基百科等主流站点会校验请求的User-Agent字段,默认HttpURLConnection发出的请求会携带Java环境默认的UA标识,会被站点的访问规则判定为非法爬虫请求,直接返回403状态码。这时候调用
urlConnection.getInputStream()会抛出FileNotFoundException,也就是日志中看到的异常,根本拿不到正常的HTML内容。
修复方案
- 移除主线程的
.get()同步阻塞调用
不要在AsyncTask的执行链路里直接调用.get()等待结果,改成在AsyncTask的onPostExecute回调中处理下载完成的结果,该回调运行在主线程,不会造成阻塞:@Override protected void onPostExecute(String result) { super.onPostExecute(result); // 此处可直接处理结果、打日志、更新UI Log.i("Result", result); } - 优化HTML内容读取逻辑
放弃逐字符读取、逐字符拼接的写法,改用StringBuilder做内容拼接,同时通过字符数组批量读取流内容,大幅降低大页面的读取耗时和内存开销:// 替换原有逐字符读取的代码 StringBuilder result = new StringBuilder(); char[] buffer = new char[1024]; int readLen; while ((readLen = reader.read(buffer)) != -1) { result.append(buffer, 0, readLen); } return result.toString(); - 补充请求头配置与超时设置
打开网络连接后,手动设置和浏览器一致的User-Agent字段,绕过基础的反爬拦截,同时配置合理的超时时间,避免无意义的等待:urlConnection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"); urlConnection.setConnectTimeout(10000); // 10秒连接超时 urlConnection.setReadTimeout(10000); // 10秒读取超时 - 完善异常处理逻辑
当请求返回非200状态码时,读取错误流的内容排查问题,不要因为403状态码就直接抛出异常中断流程。
内容的提问来源于stack exchange,提问作者Dhruva Jindal
相关产品推荐
相关产品推荐

