如何用Java/Perl/Python获取网页修改后的当前源HTML（以WhatsApp Web为例）

我之前碰到过好几个类似的疑问，其实核心原因是WhatsApp Web属于单页应用（SPA），和传统服务器直接返回完整HTML的页面逻辑完全不同。

你用InputStreamReader发起普通HTTP请求拿到的，只是服务器返回的初始静态骨架HTML——里面大部分是加载JavaScript的代码，真正的聊天界面、元素都是前端JS在浏览器里动态渲染出来的。而你在开发者工具里看到的，是浏览器执行完所有JS之后生成的最终DOM结构，这俩本来就不是一回事儿。

那怎么拿到完整的HTML呢？得模拟浏览器的行为，让JS执行完成后再获取页面内容，推荐用Selenium + 无头浏览器的方案，具体步骤如下：

1. 准备依赖（Maven为例） #

在你的pom.xml里加入Selenium的依赖：

<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-java</artifactId>
    <version>4.15.0</version> <!-- 用最新稳定版即可 -->
</dependency>

2. 下载对应版本的ChromeDriver #

ChromeDriver的版本要和你本地安装的Chrome浏览器版本匹配，下载后把它放到项目目录或者配置到系统环境变量中。

3. Java代码示例 #

import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.support.ui.WebDriverWait;
import org.openqa.selenium.support.ui.ExpectedConditions;
import org.openqa.selenium.By;

public class WhatsAppWebScraper {
    public static void main(String[] args) {
        // 配置无头Chrome选项
        ChromeOptions options = new ChromeOptions();
        options.addArguments("--headless=new"); // 无头模式，不弹出浏览器窗口
        options.addArguments("--disable-gpu");
        options.addArguments("--no-sandbox");

        // 初始化WebDriver
        WebDriver driver = new ChromeDriver(options);
        WebDriverWait wait = new WebDriverWait(driver, 10); // 10秒超时等待

        try {
            // 访问WhatsApp Web
            driver.get("https://web.whatsapp.com/");
            
            // 等待页面核心元素加载（比如二维码的canvas），比Thread.sleep更可靠
            wait.until(ExpectedConditions.presenceOfElementLocated(By.tagName("canvas")));
            
            // 获取完整的页面源码
            String fullHtml = driver.getPageSource();
            System.out.println(fullHtml);

        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            // 关闭驱动
            driver.quit();
        }
    }
}

注意事项 #

• 生产环境尽量不要用Thread.sleep()，用WebDriverWait配合ExpectedConditions等待特定元素出现，能更精准地判断页面是否加载完成。
• WhatsApp Web有反爬机制，频繁请求可能会被限制，建议不要过度抓取或用于违规用途。
• 一定要保证ChromeDriver和本地Chrome版本一致，否则会出现兼容性报错。

内容的提问来源于stack exchange，提问作者CatzRevenge