Java读取Edge商店扩展版本：解决动态渲染div内容获取问题

问题根源 #

Edge商店页面属于客户端JavaScript动态渲染的单页应用，初始请求返回的HTML中root div为空，所有内容（包括versionLabel元素）都是浏览器执行页面JS后才生成的。静态解析工具（如Jsoup直接请求、原生URL流读取）只能获取初始空HTML，因此无法拿到目标元素。

可行解决方案 #

方案1：调用Edge商店官方API（最优解）

微软提供了直接获取扩展详情的API接口，无需渲染页面，速度快且稳定。只需使用扩展URL最后一段的CRX ID即可请求：

import org.jsoup.Jsoup;
import org.json.JSONObject;
import java.io.IOException;

public class EdgeAddonVersionFetcher {
    public static void main(String[] args) throws IOException {
        // 替换为目标扩展的CRX ID（URL末尾的字符串）
        String crxId = "efpgcmfgkpmogadebodiegjleafcmdcb";
        String apiUrl = "https://microsoftedge.microsoft.com/addons/getproductdetailsbycrxid/" + crxId;
        
        // 请求API获取JSON响应
        String jsonResponse = Jsoup.connect(apiUrl)
                .ignoreContentType(true) // 允许Jsoup处理非HTML内容
                .execute()
                .body();
        
        // 解析JSON提取版本号
        JSONObject productData = new JSONObject(jsonResponse);
        String version = productData.getString("version");
        System.out.println("扩展版本：" + version);
    }
}

注意：需要引入JSON解析依赖（如org.json:json）。

方案2：改进Selenium WebDriver实现

使用支持JS执行的浏览器自动化工具，通过显式等待确保目标元素加载完成（比隐式等待更可靠）：

import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.support.ui.ExpectedConditions;
import org.openqa.selenium.support.ui.WebDriverWait;
import java.time.Duration;

public class SeleniumEdgeAddonFetcher {
    public static void main(String[] args) {
        String addonUrl = "https://microsoftedge.microsoft.com/addons/detail/incognito-adblocker/efpgcmfgkpmogadebodiegjleafcmdcb";
        
        WebDriver driver = new ChromeDriver();
        try {
            driver.get(addonUrl);
            
            // 显式等待15秒，直到versionLabel元素出现
            WebDriverWait wait = new WebDriverWait(driver, Duration.ofSeconds(15));
            WebElement versionElement = wait.until(
                ExpectedConditions.presenceOfElementLocated(By.id("versionLabel"))
            );
            
            System.out.println("扩展版本：" + versionElement.getText());
        } finally {
            driver.quit();
        }
    }
}

注意：需确保ChromeDriver与Chrome版本匹配，可使用io.github.bonigarcia:webdrivermanager自动管理驱动版本。

方案3：无头浏览器解析（适合无界面环境）

如果需要在无图形界面的服务器运行，可使用HtmlUnitDriver（无头浏览器，支持JS执行）：

import org.openqa.selenium.By;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.htmlunit.HtmlUnitDriver;
import org.openqa.selenium.support.ui.ExpectedConditions;
import org.openqa.selenium.support.ui.WebDriverWait;
import java.time.Duration;

public class HeadlessEdgeAddonFetcher {
    public static void main(String[] args) {
        String addonUrl = "https://microsoftedge.microsoft.com/addons/detail/incognito-adblocker/efpgcmfgkpmogadebodiegjleafcmdcb";
        
        // 初始化启用JS的HtmlUnitDriver
        HtmlUnitDriver driver = new HtmlUnitDriver(true);
        try {
            driver.get(addonUrl);
            
            WebDriverWait wait = new WebDriverWait(driver, Duration.ofSeconds(15));
            WebElement versionElement = wait.until(
                ExpectedConditions.presenceOfElementLocated(By.id("versionLabel"))
            );
            
            System.out.println("扩展版本：" + versionElement.getText());
        } finally {
            driver.quit();
        }
    }
}

依赖：需引入org.seleniumhq.selenium:selenium-htmlunit-driver。

总结 #

• 优先选择API方案，无需依赖浏览器，效率和稳定性最高；
• 若必须从页面解析，使用支持JS执行的自动化工具，并配合显式等待确保元素加载完成。

内容的提问来源于stack exchange，提问作者Ashish Bhoya