Python：RSS链接列表检测的优化方案及有效性验证问题

定义RSS源的文件（feeds.py） #

RSS_FEEDS = [
    "https://www.fanpage.it/feed/",
    "https://www.ilfattoquotidiano.it/feed/",
    "https://forbes.it/feed/",
    "https://formiche.net/feed/",
]

原始测试代码 #

import requests

from feeds import RSS_FEEDS

for rssfeed in RSS_FEEDS:
    response = requests.get(rssfeed)
    assert response.status_code == 200

问题解答 #

1. 是否存在更高效（减少下载量）的检测方式？

用HEAD请求替代GET请求，HEAD仅获取响应头信息，不会下载完整的RSS内容，能大幅减少流量消耗。部分服务器可能不支持HEAD，此时可回退到带stream=True的GET请求，仅读取响应头不下载正文：

import requests

from feeds import RSS_FEEDS

for rssfeed in RSS_FEEDS:
    try:
        response = requests.head(rssfeed, allow_redirects=True)
        assert response.status_code == 200
    except requests.exceptions.RequestException:
        response = requests.get(rssfeed, stream=True)
        # 仅读取响应头，不加载完整正文
        _ = response.headers
        assert response.status_code == 200

2. 如何区分并处理慢响应链接与失效链接？

通过设置超时时间识别慢响应，通过状态码、异常类型区分失效链接：

import requests

from feeds import RSS_FEEDS

for rssfeed in RSS_FEEDS:
    try:
        # 设置5秒超时，超时判定为慢响应
        response = requests.head(rssfeed, allow_redirects=True, timeout=5)
        if response.status_code == 200:
            print(f"{rssfeed}: 正常")
        else:
            print(f"{rssfeed}: 失效（状态码{response.status_code}）")
    except requests.exceptions.Timeout:
        print(f"{rssfeed}: 响应过慢（超时）")
    except requests.exceptions.RequestException as e:
        print(f"{rssfeed}: 失效（{str(e)}）")

3. 如何验证其为有效RSS流？

使用feedparser库解析内容，验证是否符合RSS格式（需先安装：pip install feedparser）：

import requests
import feedparser

from feeds import RSS_FEEDS

for rssfeed in RSS_FEEDS:
    try:
        response = requests.get(rssfeed, timeout=5)
        response.raise_for_status()
        # 解析RSS内容
        feed = feedparser.parse(response.content)
        # 验证核心字段：存在feed标题或文章条目则视为有效RSS
        if feed.get('feed', {}).get('title') or feed.get('entries'):
            print(f"{rssfeed}: 有效RSS流")
        else:
            print(f"{rssfeed}: 非有效RSS流")
    except Exception as e:
        print(f"{rssfeed}: 无效或不可访问（{str(e)}）")

内容的提问来源于stack exchange，提问作者Robert Alexander