无法获取部分Cookie求助：Python爬取Roblox Cookie失败排查

你的代码无法获取目标Cookie主要有两个核心原因，下面逐一说明并给出修复方案：

问题分析 #

• 缺少必要请求头：现代网站都会校验User-Agent字段，无该字段的请求会被判定为非浏览器请求，服务器可能拒绝返回完整Cookie或直接拦截请求。
• 未适配重定向场景：访问https://roblox.com通常会自动重定向到www.roblox.com或地区专属域名，部分关键Cookie是在重定向后的响应中设置的，结合无请求头的情况，会导致Cookie获取不全。

修复后的代码 #

import urllib.request
import http.cookiejar

URL = 'https://roblox.com'

def extract_cookies():
    cookie_jar = http.cookiejar.CookieJar()
    url_opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie_jar))
    
    # 添加模拟浏览器的请求头，避免被服务器拦截
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
    }
    
    # 构造带请求头的请求对象
    req = urllib.request.Request(URL, headers=headers)
    response = url_opener.open(req)
    
    print(f"最终访问URL: {response.geturl()}")
    print("获取到的Cookie:")
    for cookie in cookie_jar:
        print(f"[Cookie Name = {cookie.name}] [Cookie Value = {cookie.value}] [Domain = {cookie.domain}]")

if __name__ == '__main__':
    extract_cookies()

额外说明 #

• 上述代码仅能获取匿名访问状态下的Cookie，如果需要获取登录状态的Cookie，你需要补充模拟登录流程（提交账号密码、处理验证码等），或者手动导入浏览器的登录Cookie。
• Roblox有严格的反爬机制，频繁使用这类脚本可能会导致IP被封禁，建议合理控制请求频率。

内容的提问来源于stack exchange，提问作者Ardan