Jsoup获取多层嵌套div下img的src,解决动态DOM导致选择器返回空的问题
Jsoup 图片提取问题解决方案
核心问题根源
Jsoup.connect(url).get() 仅会直接拉取目标URL返回的静态HTML源码,不会执行页面内嵌JS、也不会等待AJAX请求完成后的动态DOM渲染流程,选择器执行后返回空结果,本质是解析阶段动态生成的DOM块并未加载到Jsoup的Document对象中,而非选择器语法错误。
Jsoup元素定位能力说明
- Jsoup原生不支持XPath语法,仅内置CSS Query选择器引擎;选择器本身不受DOM嵌套层级深度限制,只要目标元素存在于已加载的Document对象中,即可直接完成定位,无需手写全层级路径匹配。
- 针对给出的已知DOM结构,可直接使用的选择器写法:
// 全页面提取所有带src属性的img标签 Elements allImgs = doc.select("img[src]"); // 精准定位目标嵌套路径下的img(页面存在无关img时使用) Elements targetImgs = doc.select("div.w.clear.con-page div.article_main p > img[src]"); - 提取src属性时,可直接使用
abs:前缀获取带完整域名的绝对路径,无需手动拼接相对地址:String imgUrl = img.attr("abs:src");
动态DOM的可靠提取路径
确认目标img为AJAX渲染生成的内容后,直接拉取静态源码的方式无法获取对应元素,可通过两种可落地路径实现:
- 接口逆向匹配
通过浏览器开发者工具的网络面板过滤XHR请求,定位返回目标图片数据的AJAX接口,直接通过Jsoup请求该接口地址,补全接口所需的请求头、参数后,解析返回的HTML/JSON结构提取图片src即可,该方案性能最优、稳定性最高。 - 无头浏览器渲染补全DOM
当AJAX接口参数加密、逆向成本过高时,可通过无头浏览器加载目标页面,等待对应DOM节点渲染完成后,将完整渲染后的HTML源码导出为Jsoup可解析的Document对象,再执行上述选择器逻辑完成图片提取。
内容的提问来源于stack exchange,提问作者Dagu
相关产品推荐
相关产品推荐

