Python中如何正确传递Cookie以下载需授权的目标页面HTML
核心问题排查
首先你现在判断Cookie有没有成功发送的逻辑从根上就错了:
response.cookies存的是目标网站通过响应头Set-Cookie字段主动返回给你的Cookie集合,不是你发请求时主动携带出去的Cookie。哪怕你把一整版授权Cookie全塞到请求里,只要网站响应不主动给你种新Cookie,打印出来的<RequestsCookieJar[]>就永远是空的——这结果和你有没有成功带Cookie发请求完全没关系。- 你选的测试站点本身就有问题:直接请求google.com根路径,默认响应根本不会返回Set-Cookie头,所以之前两次测试打印出来的空Cookie Jar,是完全符合谷歌响应逻辑的,根本不能作为“Cookie没发送成功”的判断依据。你就算给请求里塞再多自定义Cookie,只要谷歌不回种新Cookie,这个打印结果永远是空的。
你现在用的requests库本身的Cookie传参逻辑是完全可用的,不用换urllib实现,按下面的步骤调整就行:
基础传参写法
requests自带的cookies参数支持直接传入字典格式的Cookie键值对,本身就能把Cookie正确拼到请求头里,注意测试的时候别用谷歌当目标,换成你实际对接的业务页面:
import requests # 替换成你实际需要携带的授权Cookie键值对 target_cookies = { "授权Cookie键1": "对应值1", "授权Cookie键2": "对应值2" } resp = requests.get( url="你实际要获取HTML的目标页面完整地址", cookies=target_cookies, # 多数网站会校验UA,缺了就算Cookie对也会被拦截 headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"} ) # 正确的校验方式:看请求实际带出去的Cookie头,别盯着response.cookies看 print("实际请求携带的Cookie头:", resp.request.headers.get("Cookie")) # 直接打印返回的HTML内容,确认是不是拿到了授权后的页面 print("页面内容:", resp.text)
更不容易出错的传参方式
如果你的Cookie是直接从浏览器开发者工具的Network面板里整段复制的“key1=val1; key2=val2”格式,根本不用手动转成字典,直接把整串塞到请求头的Cookie字段里,效果完全一样,还不容易因为漏转键值对出问题:
resp = requests.get( url="你的目标页面地址", headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", # 直接粘贴从浏览器复制的整段Cookie字符串就行 "Cookie": "这里替换成你从浏览器复制的完整Cookie串" } )
- Cookie和域名是强绑定的,别把其他网站的Cookie复制过来塞到当前网站的请求里,域名对不上的Cookie网站完全不认。
- 注意Cookie的有效期:多数授权类Cookie有效期很短,复制的时候如果Cookie已经过期,就算带着发出去,网站也会直接拦截返回登录页。
- 别漏带配套Cookie:很多网站的授权校验不是只靠单个Cookie值,需要多个同域名下的Cookie组合验证,可以直接从浏览器开发者工具的Application面板里,把对应域名下的所有Cookie全选复制,整串拼到请求里,比手动整理字典不容易漏项。
- 你之前写的
from urllib.request import Request那行代码根本没有实际调用,和当前requests的请求逻辑完全无关,删掉就行,留着不影响功能但属于冗余代码。
内容的提问来源于stack exchange,提问作者kogol99
相关产品推荐
相关产品推荐

