如何解决Kotlin Ktor Client请求网站时的JavaScript未启用错误？

首先要明确：Ktor Client 是纯HTTP请求客户端，本身不具备JavaScript执行能力。网站返回这个错误，是因为它通过请求头、环境检测判断出你的请求并非来自真实浏览器（真实浏览器会默认启用JS并能执行它）。

下面是可行的解决思路：

1. 模拟浏览器请求头，绕过基础检测 #

很多网站的JS启用检测只是简单校验请求头是否符合浏览器特征，你可以在Ktor Client中添加浏览器常用的请求头来绕过：

val client = HttpClient(CIO) {
    defaultRequest {
        headers {
            append(HttpHeaders.UserAgent, "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
            append(HttpHeaders.Accept, "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8")
            append(HttpHeaders.AcceptLanguage, "en-US,en;q=0.5")
            append(HttpHeaders.AcceptEncoding, "gzip, deflate, br")
            append(HttpHeaders.Connection, "keep-alive")
            append(HttpHeaders.UpgradeInsecureRequests, "1")
        }
    }
}

2. 使用Ktor的无头浏览器扩展执行JS #

如果网站依赖JS渲染内容或做严格的环境检测，你需要使用能执行JS的客户端。Ktor提供了对接无头浏览器的扩展：

步骤1：添加依赖（Gradle为例） #

implementation("io.ktor:ktor-client-chrome:$ktor_version")
// 或Firefox版本
// implementation("io.ktor:ktor-client-firefox:$ktor_version")

步骤2：配置客户端并发送请求 #

val client = HttpClient(Chrome) {
    browser {
        // 配置无头模式
        headless = true
        // 可选：设置窗口大小
        windowSize = Pair(1920, 1080)
    }
}

runBlocking {
    val response = client.get("你的目标URL") {
        // 等待JS执行完成（比如等待某个元素加载）
        browserAction {
            waitForSelector("body") // 等待页面body加载完成，确保JS执行完毕
        }
    }
    println(response.bodyAsText())
}

这种方式会启动无头Chrome/Firefox，真正执行页面JS，完全模拟浏览器行为。

3. 备选方案：结合第三方JS引擎 #

如果不想依赖浏览器，也可以使用如Rhino、GraalVM JS等引擎手动执行页面返回的JS，但这种方式复杂度高，仅适合简单场景，不推荐用于复杂网站。

内容的提问来源于stack exchange，提问作者Yuutokata