使用PowerShell Invoke-WebRequest遇“请启用JavaScript”问题求助

问题原因 #

目标页面是单页应用（SPA），服务器返回的初始HTML仅作为渲染容器，实际登录表单等核心内容需要浏览器执行JavaScript动态加载生成。Invoke-WebRequest仅能发送HTTP请求获取静态响应，不具备JS执行能力，因此只能拿到"please enable JavaScript"的初始内容——这和浏览器开发者工具中看到的初始文档响应一致，区别在于浏览器会自动执行JS完成后续页面渲染。

解决方案 #

方案1：使用支持JS执行的浏览器自动化工具（推荐）

通过模拟完整浏览器环境执行JS，还原页面渲染流程，以PowerShell结合Playwright为例：

1. 安装依赖：

Install-Module -Name Playwright -Scope CurrentUser -Force
Install-Playwright browsers

2. 模拟登录脚本：

# 初始化Playwright环境
$pw = [PlaywrightSharp.Playwright]::CreateAsync().GetAwaiter().GetResult()
$browser = $pw.Chromium.LaunchAsync([PlaywrightSharp.BrowserTypeLaunchOptions]@{Headless = $false}).GetAwaiter().GetResult() # 设为$false可显示浏览器窗口，便于调试
$page = $browser.NewPageAsync().GetAwaiter().GetResult()

# 访问登录页并等待页面加载
$page.GotoAsync("https://www.suidoapp.waterworks.metro.tokyo.lg.jp/#/login").GetAwaiter().GetResult()
$page.WaitForSelectorAsync("input[type='text']").GetAwaiter().GetResult() # 等待用户名输入框加载，可根据实际元素调整

# 填写登录信息并提交
$page.FillAsync("input[type='text']", "你的用户名").GetAwaiter().GetResult()
$page.FillAsync("input[type='password']", "你的密码").GetAwaiter().GetResult()
$page.ClickAsync("button[type='submit']").GetAwaiter().GetResult()

# 获取登录后的页面内容
$loggedInContent = $page.ContentAsync().GetAwaiter().GetResult()

# 清理资源
$browser.CloseAsync().GetAwaiter().GetResult()
$pw.DisposeAsync().GetAwaiter().GetResult()

方案2：直接调用登录API接口

通过浏览器开发者工具抓包，定位实际处理登录请求的后端API，跳过页面渲染直接发送请求：

1. 打开浏览器开发者工具的「网络」面板，执行登录操作，捕获POST类型的登录请求，记录API地址、请求头、请求体格式。
2. 构造请求脚本：

$loginApiUrl = "抓包得到的登录API地址"
$requestHeaders = @{
    "Content-Type" = "application/json"
    "User-Agent" = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
    # 添加抓包获取的其他必要头信息，如Cookie、X-Requested-With等
}
$loginBody = @{
    userId = "你的用户名"
    password = "你的密码"
} | ConvertTo-Json

# 发送登录请求并保存会话
$loginResponse = Invoke-RestMethod -Method Post -Uri $loginApiUrl -Headers $requestHeaders -Body $loginBody -SessionVariable AuthSession

# 使用会话访问需登录的页面
$targetContent = Invoke-WebRequest -Uri "目标页面地址" -WebSession $AuthSession

方案对比 #

• 方案1：无需分析网站底层逻辑，完全模拟浏览器行为，适配所有SPA场景；但需安装额外工具，运行速度略慢。
• 方案2：轻量高效，执行速度快；但需要分析网站API规则，部分网站存在签名、加密等验证机制，实现难度较高。

内容的提问来源于stack exchange，提问作者Tanaka Saito