使用PowerShell从URL获取元素：购物网站元素抓取代码失效原因排查

让我来拆解问题根源，再给你对应的解决思路：

核心原因：静态页面 vs 动态渲染页面 #

你的第一段代码能正常工作，是因为http://superwidgets.wordpress.com是静态HTML页面——页面上的所有内容（包括带entry-title类的h2标签）都是服务器端直接生成好，一次性发送给请求方的。Invoke-WebRequest能拿到完整的页面结构，自然能定位到目标元素。

而norrona.com属于动态渲染的现代网站（大概率用了React、Vue这类前端框架）：初始请求返回的HTML只有页面基础骨架，那些带productcard类的div元素，是浏览器加载并执行JavaScript后才动态生成插入的。Invoke-WebRequest只会抓取初始的静态HTML，根本看不到JS渲染后的内容，所以自然找不到你要的元素。

额外需要注意的点：反爬机制 #

这类电商网站通常会有基础反爬策略，比如检测请求头是否符合浏览器特征，但这不是你当前代码失效的主要原因，后续抓取时可以通过添加模拟浏览器的请求头来规避。

解决方案：用浏览器自动化工具抓取动态内容 #

要获取JS渲染后的页面，你需要使用能模拟浏览器行为的工具，让它加载页面、执行JS，再获取完整的DOM结构。这里给你两个适合PowerShell的常用方案：

方案1：使用Playwright for PowerShell #

Playwright是微软推出的自动化测试工具，支持多浏览器，处理动态内容非常方便。

首先安装依赖：

Install-Module -Name Playwright -Scope CurrentUser
Install-PlaywrightBrowsers

然后编写抓取代码：

$url = 'https://www.norrona.com/nb-NO/o/herre/?displaysize=L%7CM&s=7&h=69000'

# 启动无头模式的Chromium浏览器（也可以用Firefox/Edge）
$browser = Start-PlaywrightBrowser -Browser Chromium -Headless
$page = $browser.NewPage()
$page.Goto($url)

# 等待目标元素加载完成，确保JS渲染完毕
$page.WaitForSelector('div.productcard')

# 获取所有productcard元素
$productCards = $page.QuerySelectorAll('div.productcard')

# 遍历提取商品链接（假设每个卡片里包含a标签）
foreach ($card in $productCards) {
    $link = $card.QuerySelector('a').GetAttribute('href')
    Write-Output $link
}

# 关闭浏览器
$browser.Close()

方案2：使用Selenium for PowerShell #

Selenium是老牌浏览器自动化工具，同样能解决动态内容抓取问题：

首先安装依赖：

Install-Module -Name Selenium -Scope CurrentUser
# 需额外下载对应浏览器的驱动（比如ChromeDriver），确保版本和你的浏览器匹配

示例代码：

$url = 'https://www.norrona.com/nb-NO/o/herre/?displaysize=L%7CM&s=7&h=69000'

# 启动Chrome浏览器
$driver = Start-SeChrome
$driver.Navigate().GoToUrl($url)

# 设置隐式等待，确保元素加载完成
$driver.Manage().Timeouts().ImplicitWait = [TimeSpan]::FromSeconds(10)

# 获取所有productcard元素
$productCards = $driver.FindElementsByClassName('productcard')

# 提取商品链接
foreach ($card in $productCards) {
    $link = $card.FindElementByTagName('a').GetAttribute('href')
    Write-Output $link
}

# 关闭浏览器
$driver.Quit()

总结 #

Invoke-WebRequest仅适用于抓取静态HTML页面，对于依赖JS渲染的现代网站，必须借助浏览器自动化工具才能获取完整的渲染后内容。上面的两种方案都能帮你拿到想要的商品链接，进而区分新品和旧品。

内容的提问来源于stack exchange，提问作者EVO