寻求基于Node.js或Ruby开发网页Cookie提取爬虫的技术方案

因为你需要抓取异步加载的Cookie（比如Google Tag Manager注入的_ga、_gid这类），普通HTTP请求库（如axios、node-fetch）无法处理浏览器端渲染的脚本逻辑，必须用能模拟真实浏览器环境的工具。首推Puppeteer——这是Chrome官方维护的无头浏览器库，完美支持页面渲染、异步脚本执行和Cookie捕获。

核心实现步骤 #

1. 环境准备 #

初始化Node.js项目并安装Puppeteer：

npm init -y
npm install puppeteer

2. 核心代码示例 #

下面的代码会模拟浏览器打开目标站点，等待页面完全加载（包括GTM的异步脚本），然后提取所有Cookie并输出名称：

const puppeteer = require('puppeteer');

async function extractCookies(siteUrl) {
  // 启动无头浏览器（可设置headless: false查看真实浏览器窗口）
  const browser = await puppeteer.launch({
    headless: 'new',
    args: ['--no-sandbox', '--disable-setuid-sandbox'] // 解决部分环境权限问题
  });

  const page = await browser.newPage();
  // 打开目标页面，等待网络空闲（确保异步脚本加载完成）
  await page.goto(`https://${siteUrl}`, { waitUntil: 'networkidle2' });

  // 获取当前页面所有Cookie
  const cookies = await page.cookies();
  // 提取Cookie名称并输出
  cookies.forEach(cookie => {
    console.log(cookie.name);
  });

  await browser.close();
}

// 测试示例
const SITE_URL = "youtube.com";
extractCookies(SITE_URL);

3. 针对GTM的优化 #

如果GTM加载有延迟，可以通过以下方式确保捕获到所有异步Cookie：

• 延长等待时间：添加await page.waitForTimeout(3000);（3秒），给GTM足够的执行时间
• 监听Cookie变化：通过page.on('response')或page.setCookie事件，实时捕获新增的Cookie
• 等待特定Cookie出现：比如明确等待_ga加载完成：

  await page.waitForFunction(() => document.cookie.includes('_ga'));
  

Ruby 备选方案（可选） #

如果需要Ruby实现，可使用Capybara配合无头Chrome：

1. 安装依赖：gem install capybara selenium-webdriver webdrivers
2. 核心代码：

require 'capybara/dsl'
require 'webdrivers/chromedriver'

include Capybara::DSL

Capybara.register_driver :headless_chrome do |app|
  Capybara::Selenium::Driver.new(app, browser: :chrome, options: Selenium::WebDriver::Chrome::Options.new(args: ['--headless=new']))
end

Capybara.default_driver = :headless_chrome

visit "https://youtube.com"
# 等待GTM加载
sleep 3
# 提取并输出Cookie名称
page.driver.browser.manage.all_cookies.each do |cookie|
  puts cookie[:name]
end

Capybara.reset_sessions!
Capybara.use_default_driver

内容的提问来源于stack exchange，提问作者user21666824