如何用Invoke-WebRequest读取隐藏DIV内的动态表格数据？

1. 为什么Invoke-WebRequest拿不到数据？ #

Invoke-WebRequest只能抓取静态初始HTML，如果表格是通过JavaScript动态生成（比如从后端接口拉取数据后渲染），或是DIV的内容由JS动态插入，静态请求就无法获取到真实的DOM内容。

2. 改用支持JS渲染的工具（核心解决方案） #

推荐用浏览器自动化工具模拟真实浏览场景，执行JS后再抓取完整DOM：

方案A：Playwright for PowerShell #

Playwright支持无头浏览器，能完整渲染页面：

• 先安装依赖：

  Install-Module -Name Playwright -Scope CurrentUser
  Install-PlaywrightBrowsers
  

• 示例代码：

  # 启动无头Chromium浏览器
  $browser = Start-PlaywrightBrowser -Browser chromium -Headless
  $page = $browser.NewPage()
  $page.Goto("你的目标网页URL")
  
  # 等待目标DIV加载（可根据实际调整选择器，比如ID、class）
  $page.WaitForSelector("div[style*='display:none']")
  $divElement = $page.QuerySelector("div[style*='display:none']")
  $innerHTML = $divElement.InnerHTML
  
  # 解析表格数据
  $tableRows = $innerHTML | ConvertFrom-Html | Select-Xml -XPath "//table//tr"
  foreach ($row in $tableRows) {
      $cells = $row.Node.Cells | ForEach-Object { $_.InnerText.Trim() }
      # 按需处理每行数据，比如输出或存入数组
      Write-Host $cells -Join "|"
  }
  
  $browser.Close()
  

方案B：Selenium PowerShell模块 #

Selenium同样支持浏览器自动化：

• 安装依赖：

  Install-Module -Name Selenium -Scope CurrentUser
  # 下载对应浏览器驱动（如ChromeDriver）并添加到系统PATH
  

• 示例代码：

  $driver = Start-SeChrome -Headless
  $driver.Navigate().GoToUrl("你的目标网页URL")
  
  # 定位目标DIV（替换成你的实际选择器，比如ByCssSelector）
  $divElement = $driver.FindElementByCssSelector("div[style*='display:none']")
  $innerHTML = $divElement.GetAttribute("innerHTML")
  
  # 后续表格解析逻辑同上
  $driver.Quit()
  

3. 检查静态HTML中是否隐藏了数据 #

部分网站会把数据提前放在静态HTML的隐藏元素里，只是未渲染。你可以先导出完整页面内容排查：

$response = Invoke-WebRequest -Uri "你的URL"
$response.Content | Out-File -Path "page.html" -Encoding UTF8

如果打开page.html后，目标DIV内确实有表格HTML，可能是之前的定位逻辑有误，可重新用Select-Xml定位：

$xml = $response.Content | ConvertFrom-Html
$div = $xml.SelectSingleNode("//div[@style='display:none']") # 替换成DIV的实际标识
if ($div) {
    $tableRows = $div.InnerXml | ConvertFrom-Html | Select-Xml -XPath "//tr"
    foreach ($row in $tableRows) {
        $cells = $row.Node.Cells | ForEach-Object { $_.InnerText.Trim() }
        Write-Host $cells -Join "|"
    }
}

4. 手动解析页面内容是可行的 #

如果无法使用自动化工具，可以通过字符串匹配、正则表达式手动提取表格片段：

$response = Invoke-WebRequest -Uri "你的URL"
$content = $response.Content

# 匹配表格HTML片段（正则需根据页面结构调整）
$tableMatch = [regex]::Match($content, '<table.*?>.*?</table>', [System.Text.RegularExpressions.RegexOptions]::Singleline)
if ($tableMatch.Success) {
    $tableHtml = $tableMatch.Value
    # 拆分行和单元格
    $rows = $tableHtml -split '<tr>' | Where-Object { $_ -match '<td>' }
    foreach ($row in $rows) {
        $cells = ($row -split '<td>' | Select-Object -Skip 1) | ForEach-Object {
            $_ -replace '</td>.*', '' -replace '<.*?>', '' | Trim()
        }
        Write-Host $cells -Join "|"
    }
}

注意：手动解析依赖页面结构稳定性，一旦页面更新，正则可能失效。

内容的提问来源于stack exchange，提问作者Bbb