如何用urllib获取网页HTML？解决爬取reddit时401未授权错误

我来帮你搞定这两个问题～先从基础的urllib获取HTML内容说起，再解决reddit的401错误，实现稳定爬取。

urllib是Python自带的HTTP请求库，不需要额外安装，基础用法很简单。这里给你一个带异常处理的示例，能应对常见的网络错误：

import urllib.request

def fetch_html(url):
    try:
        # 发送请求并获取响应
        response = urllib.request.urlopen(url)
        # 把二进制响应解码成字符串（utf-8是通用编码，部分网站可能需要调整）
        html_content = response.read().decode('utf-8')
        return html_content
    except urllib.error.HTTPError as e:
        print(f"服务器返回错误: {e.code} - {e.reason}")
    except urllib.error.URLError as e:
        print(f"网络连接错误: {e.reason}")
    return None

# 测试示例
html = fetch_html("https://example.com")
if html:
    print(html[:500])  # 打印前500个字符，避免输出太多内容

这个方法适用于大部分没有反爬机制的网站，但像reddit这种有反爬的平台，就需要额外调整请求参数了。

你遇到的urllib.error.HTTPError: HTTP Error 401: Unauthorized，本质是reddit的反爬系统识别出你的请求来自脚本（默认urllib的User-Agent是Python-urllib/3.x，一眼就能被看穿），所以拒绝了你的访问。另外，你之前禁用SSL验证的操作不仅不安全，也可能是导致不稳定的因素之一——reddit的SSL证书是合法有效的，完全不需要这么做。

下面是优化后的代码，能大概率解决这个问题：

import urllib.request
from bs4 import BeautifulSoup

def fetch_reddit_html():
    url = "https://www.reddit.com/"
    # 模拟真实浏览器的请求头，核心是User-Agent，其他参数可以增强真实性
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
        'Accept-Language': 'en-US,en;q=0.9',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'
    }
    
    # 创建带请求头的Request对象，这是模拟浏览器请求的关键
    request = urllib.request.Request(url, headers=headers)
    
    try:
        # 使用默认SSL上下文（安全且合规）
        response = urllib.request.urlopen(request)
        html = response.read().decode('utf-8')
        
        # 顺便帮你完成BeautifulSoup解析href标签的需求
        soup = BeautifulSoup(html, 'html.parser')
        all_links = soup.find_all('a', href=True)
        
        print("前10个href链接：")
        for link in all_links[:10]:
            print(link['href'])
        
        return html
    except urllib.error.HTTPError as e:
        print(f"HTTP错误: {e.code} - {e.reason}")
        print(f"错误详情: {e.read().decode('utf-8')}")
    except urllib.error.URLError as e:
        print(f"网络错误: {e.reason}")
    return None

# 运行测试
fetch_reddit_html()

几个关键注意点： #

• 一定要设置User-Agent：你可以打开自己的浏览器开发者工具（按F12），在Network标签里随便找一个请求，复制Request Headers里的User-Agent，替换代码里的内容，这样请求会更像真实用户。
• 不要禁用SSL验证：之前的ctx.check_hostname = False和ctx.verify_mode = ssl.CERT_NONE会让你的请求处于不安全状态，而且完全没必要——reddit的证书是可信的。
• 额外请求头加分：添加Accept、Accept-Language等参数，能让你的请求更贴近真实浏览器的行为，降低被拦截的概率。
• 极端情况的应对：如果还是偶尔被拦截，可以考虑从浏览器复制reddit的Cookie添加到请求头里（注意不要泄露自己的账号信息），或者使用代理IP，但一定要遵守reddit的使用条款，不要过度爬取。

内容的提问来源于stack exchange，提问作者Pasindu Samaranayake