RSS爬虫无法获取单篇文章URL的技术问题求助

1. RSS规范/源的字段命名不一致 #

不同RSS源（RSS 2.0、Atom、自定义扩展）的文章URL字段名差异极大，别默认都用entry['link']：

• RSS 2.0标准源：通常用entry['link']或entry['guid']（注意部分源的guid不是URL，要检查格式）
• Atom标准源：文章URL藏在entry['links']数组里，需筛选rel="alternate"的链接：

  import feedparser
  feed = feedparser.parse("你的RSS源地址")
  for entry in feed.entries:
      article_url = None
      # 遍历links找可访问的文章链接
      for link in entry.get('links', []):
          if link.get('rel') == 'alternate' and link.get('type') == 'text/html':
              article_url = link['href']
              break
      print(article_url)
  

• 带命名空间的自定义源：比如用dc:identifier做URL的源，feedparser会把冒号转成下划线，取entry['dc_identifier']

2. 解析层级错误 #

别把整个feed的全局链接和单篇文章的链接搞混：

• 错误写法：直接取feed['link']（这是RSS源的首页链接，不是单篇文章的）
• 正确写法：必须遍历feed.entries数组，从每个entry对象里提取URL

3. pandas构造时的字段提取错误 #

直接把feed.entries转成DataFrame会保留所有原始字段，但很多字段是嵌套结构（比如Atom的links），无法直接作为列读取：

• 错误写法：

  import pandas as pd
  df = pd.DataFrame(feed.entries)
  # 这里df['link']可能不存在，或返回嵌套对象
  

• 正确写法：先手动提取需要的字段，再构造DataFrame：

  articles = []
  for entry in feed.entries:
      # 多字段 fallback 确保能拿到URL
      url = entry.get('link') or entry.get('guid')
      if not url:
          for link in entry.get('links', []):
              if link.get('rel') == 'alternate':
                  url = link['href']
                  break
      articles.append({
          'title': entry.get('title'),
          'article_url': url,
          'publish_time': entry.get('published')
      })
  df = pd.DataFrame(articles)
  

快速排查技巧 #

先打印单个条目所有字段，确认URL的具体位置：

print(feed.entries[0].keys())  # 看所有可用字段名
print(feed.entries[0])  # 打印整个条目内容，找URL字段

内容的提问来源于stack exchange，提问作者elksie5000