如何用PowerShell的Invoke-WebRequest或System.Net.WebClient获取网页完整内容？

你遇到的是Incapsula（Cloudflare旗下反爬系统）的拦截，普通Invoke-WebRequest或WebClient因为缺少浏览器级别的JS渲染、Cookie验证等交互行为，会被判定为非真实用户请求。以下是可行的解决方法：

方法一：使用Selenium模拟真实浏览器（推荐） #

Selenium会启动真实浏览器并执行页面JS，完全模拟用户浏览行为，能绕过Incapsula的基础检测。

步骤1：安装Selenium模块 #

Install-Module -Name Selenium -Force -AllowClobber

步骤2：编写爬取代码 #

确保已下载对应浏览器的驱动（比如EdgeDriver，版本需和本地Edge浏览器一致），并将驱动放到系统PATH目录中：

# 导入Selenium模块
Import-Module Selenium

# 初始化无头模式的Edge浏览器（无GUI窗口）
$edgeOptions = New-SeEdgeOptions
$edgeOptions.AddArgument("--headless=new")
$driver = Start-SeEdge -Options $edgeOptions

# 导航到目标页面
$driver.Navigate().GoToUrl("https://www.migdal.co.il/about/investments/assets")

# 等待页面完全加载（可根据页面元素调整等待时间）
Start-Sleep -Seconds 5

# 获取完整页面HTML内容
$fullPageContent = $driver.PageSource

# 保存内容到本地文件
$fullPageContent | Out-File -FilePath "MigdalAssets.html" -Encoding UTF8

# 关闭浏览器驱动
$driver.Quit()

补充说明 #

• 浏览器驱动版本必须和本地浏览器版本严格匹配，否则会启动失败。
• 如果需要GUI模式调试，去掉--headless=new参数即可。
• 部分网站可能会检测无头模式，若出现拦截，可尝试添加--disable-blink-features=AutomationControlled参数来隐藏自动化痕迹。

内容的提问来源于stack exchange，提问作者POL