使用JSoup爬取网页：链接文本解析及循环遍历异常求助

Hey James, let's work through those two JSoup issues you're dealing with—they're totally fixable once we nail down the root causes!

问题1：解析链接中包含的文本 #

从你给出的HTML结构来看，目标链接在<a>标签里，你需要区分两种“链接相关文本”：一种是<a>标签包裹的显示文本（比如你的例子里的_），另一种是href属性里的实际链接地址。这里两种的获取方式都很直接：

// 先定位到目标<a>元素（我们后面会说更精准的定位方式）
Element targetLink = doc.select("div._6d3hm._mnav9 div._mck9w._gvoze._tn0ps a").first();

// 获取<a>标签内的显示文本
String linkDisplayText = targetLink.text();
// 获取href属性里的链接地址
String actualLink = targetLink.attr("href");

// 输出测试
System.out.println("链接显示文本：" + linkDisplayText);
System.out.println("实际链接地址：" + actualLink);

如果你的<a>标签里有嵌套元素（比如<span>），可以用targetLink.ownText()来获取<a>直接包含的文本，避免拿到子元素的内容。

问题2：forEach循环仅迭代1次且找不到目标链接 #

这个问题大概率是选择器不够精准或者错误地获取了单个元素而非元素集合导致的。你需要确保用select()方法返回Elements集合（多个元素），而不是selectFirst()（只返回第一个匹配元素）。

正确的遍历方式： #

// 用精准的选择器定位所有符合条件的<a>元素
Elements allTargetLinks = doc.select("div._6d3hm._mnav9 div._mck9w._gvoze._tn0ps a");

// 遍历集合
allTargetLinks.forEach(link -> {
    String href = link.attr("href");
    String text = link.text();
    System.out.println("找到链接：" + href + "，文本：" + text);
});

为什么之前只迭代1次？ #

• 你可能用了selectFirst()或者get(0)，只拿到了第一个匹配元素，遍历自然只会执行1次；
• 你的选择器可能写错了（比如class名拼写错误，或者层级关系不对），导致只匹配到1个元素甚至0个。可以先打印allTargetLinks.size()看看匹配到的元素数量，确认选择器是否正确。

额外检查点： #

如果选择器没问题但还是找不到元素，要确认你爬取的HTML是否是完整的静态HTML——如果目标内容是通过AJAX动态加载的，JSoup是无法获取到的（因为JSoup只能解析初始请求返回的静态内容），这时候可能需要结合其他工具来处理动态页面。

内容的提问来源于stack exchange，提问作者James H