Jsoup获取动态页面问题及查找TTM PE数据AJAX接口的技术咨询

在Moneycontrol的Karur Vysya Bank股票页面中，TTM PE数据为异步加载，初始显示为"--"，以下是对应技术问题的解答：

1. 为何Jsoup.connect会返回Document对象？ #

Jsoup是一款专注于HTML解析的Java库，核心逻辑是：模拟浏览器发起同步HTTP请求获取服务器返回的静态原始HTML文本，再将这些文本解析成符合W3C DOM规范的Document对象。这个Document本质是内存中的HTML节点树，目的是让开发者能通过CSS选择器、XPath等便捷方式查询和操作页面元素。由于Jsoup不具备JS执行能力，它只会返回页面的初始静态内容，无法获取后续异步加载的TTM PE数据。

2. 如何定位获取该TTM PE数据的网络请求URL？ #

可以通过浏览器开发者工具直接定位：

• 打开浏览器开发者工具（快捷键F12或Ctrl+Shift+I），切换到Network面板，勾选「XHR/Fetch」过滤条件，只显示异步请求；
• 刷新目标页面，在请求列表中筛选包含「PE」「TTM」「KVB」等关键词的请求；
• 点击候选请求，查看Response标签页内容，若返回数据包含目标TTM PE数值，则该请求的Request URL就是获取数据的接口地址；
• 额外技巧：在Elements面板中搜索初始显示的"--"元素，查看其是否携带data-api类属性，部分页面会将异步接口地址直接嵌入节点属性中。

3. 是否能够让Jsoup.connect等待所有网络请求完成后再返回结果？ #

不能。Jsoup的设计定位是静态HTML抓取与解析工具，它没有内置JavaScript引擎，无法执行页面中的异步JS代码，也不会监听或等待页面的AJAX请求完成。如果要获取异步加载的TTM PE数据，有两种可行方案：

• 直接调用上文定位到的异步接口URL，用Jsoup发起请求获取JSON/XML格式的原始数据；
• 使用具备浏览器模拟能力的工具（如Selenium、Playwright、HtmlUnit），这类工具可以完整模拟浏览器环境，执行页面JS并等待所有异步请求完成后，再获取渲染后的完整DOM内容。

内容的提问来源于stack exchange，提问作者vikramvi