如何用Chromote及其他R库为动态网站生成WARC文件？

要基于Chromote渲染后的页面生成标准WARC文件，可通过自定义函数构造WARC记录或使用合规的第三方R包实现，以下是具体方案：

步骤1：补充获取WARC必需的元数据 #

你的现有代码仅获取了页面HTML，WARC需要包含请求URL、响应头、状态码、时间戳等元数据，需先补充获取：

library(tidyverse)
library(chromote)
library(uuid) # 用于生成唯一记录ID

# 初始化Chromote会话
b1 <- ChromoteSession$new()
target_url <- "https://example.com" # 替换为你的目标URL
b1$Page$navigate(url = target_url)

# 等待页面完全渲染（替代Sys.sleep的可靠方式）
b1$Page$loadEventFired()

# 获取页面HTML内容
content <- b1$DOM$getDocument()
page_html <- b1$DOM$getOuterHTML(content$root$nodeId)$outerHTML

# 获取主文档的请求/响应元数据
all_requests <- b1$Network$getAllRequests()
main_request_id <- all_requests$requestId[which(all_requests$url == target_url)]
response_headers <- b1$Network$getResponseHeaders(requestId = main_request_id)$headers
status_code <- all_requests$status[which(all_requests$url == target_url)]
timestamp <- format(Sys.time(), "%Y-%m-%dT%H:%M:%SZ") # 符合WARC格式的时间戳

步骤2：自定义函数生成标准WARC文件 #

如果无法安装第三方WARC工具包，可手动构造符合WARC 1.0标准的记录：

create_warc_record <- function(url, html_content, headers, status_code, timestamp) {
  # 生成WARC核心头信息
  warc_header <- paste0(
    "WARC/1.0\r\n",
    "WARC-Type: response\r\n",
    "WARC-Date: ", timestamp, "\r\n",
    "WARC-Record-ID: <urn:uuid:", UUIDgenerate(), ">\r\n",
    "WARC-Target-URI: ", url, "\r\n",
    "Content-Type: application/http; msgtype=response\r\n"
  )
  
  # 构造HTTP响应部分
  http_response <- paste0(
    "HTTP/1.1 ", status_code, "\r\n",
    paste(names(headers), headers, sep = ": ", collapse = "\r\n"), "\r\n\r\n",
    html_content
  )
  
  # 计算内容长度并补全WARC头
  content_length <- nchar(http_response, type = "bytes")
  full_warc_header <- paste0(warc_header, "Content-Length: ", content_length, "\r\n\r\n")
  
  # 拼接完整WARC记录
  paste0(full_warc_header, http_response)
}

# 生成WARC记录并保存到文件
warc_content <- create_warc_record(
  url = target_url,
  html_content = page_html,
  headers = response_headers,
  status_code = status_code,
  timestamp = timestamp
)
writeLines(warc_content, "rendered_page.warc")

步骤3：第三方包简化操作（若允许安装） #

如果电脑政策允许安装外部包，可使用webarchive包快速生成WARC：

# 从GitHub安装包
devtools::install_github("hrbrmstr/webarchive")
library(webarchive)

# 直接生成WARC文件
warc_create(
  path = "rendered_page.warc",
  url = target_url,
  content = page_html,
  response_headers = response_headers,
  status_code = status_code
)

注意事项 #

• 手动构造的WARC可添加WARC-Payload-Digest字段增强合规性，可通过digest包生成SHA-1摘要补充。
• 若页面存在多个请求，需确保筛选到主文档的请求ID，避免获取到资源请求的元数据。

内容的提问来源于stack exchange，提问作者Lod