Python爬虫求助：提取推特哈希标签时for循环仅返回最后值

问题排查与修复 #

你的代码存在两个核心问题，导致无法获取所有推文的哈希标签：

1. Tweepy Cursor迭代器仅能遍历一次：第一个for tweet in tweets循环已经耗尽了tweets迭代器的内容，后续再遍历tweets时，迭代器已无剩余数据，因此hashtag_list始终为空。
2. 哈希标签提取逻辑错误：第二个循环将tweet对象当作单个字符判断是否等于#，逻辑完全不成立；同时第一个循环里的hashtags变量会被每次循环覆盖，最终仅保留最后一条推文的标签。

修复后的代码 #

以下是两种可靠的提取方案，同时保留你原有的数据收集逻辑：

方案1：正则提取+同步保存

直接在第一次循环中完成哈希标签的提取与存储，避免迭代器耗尽的问题：

import re
import tweepy

keyword = input("Enter hashtag")
date = input("Enter date: YYYY-MM-DD")

tweets = tweepy.Cursor(api.search_tweets, q=keyword, since_id=date, lang='en', tweet_mode="extended").items(30)

columns = ['Date & Time', 'User', 'Retweet_no', 'Text', 'Location', 'Hashtags'] 
data_la = []
all_hashtags = []  # 存储所有推文的哈希标签

for tweet in tweets:
    # 收集基础推文数据
    tweet_data = [
        tweet.created_at,
        tweet.user.screen_name,
        tweet.retweet_count,
        tweet.full_text,
        tweet.geo
    ]
    # 正则提取当前推文的哈希标签
    hashtags = re.findall(r"#(\w+)", tweet.full_text)
    all_hashtags.extend(hashtags)  # 合并到总标签列表
    tweet_data.append(hashtags)  # 将标签与当前推文数据绑定
    data_la.append(tweet_data)
    
    print(f"当前推文标签: {hashtags}")

print("所有哈希标签:", all_hashtags)

方案2：用Tweepy自带entities提取（更可靠）

Tweepy的tweet对象自带entities属性，API已提前解析好哈希标签，无需自己写正则，还能正确识别带特殊字符的标签：

import tweepy

keyword = input("Enter hashtag")
date = input("Enter date: YYYY-MM-DD")

tweets = tweepy.Cursor(api.search_tweets, q=keyword, since_id=date, lang='en', tweet_mode="extended").items(30)

columns = ['Date & Time', 'User', 'Retweet_no', 'Text', 'Location', 'Hashtags'] 
data_la = []
all_hashtags = []

for tweet in tweets:
    tweet_data = [
        tweet.created_at,
        tweet.user.screen_name,
        tweet.retweet_count,
        tweet.full_text,
        tweet.geo
    ]
    # 从entities中提取哈希标签
    hashtags = [tag['text'] for tag in tweet.entities.get('hashtags', [])]
    all_hashtags.extend(hashtags)
    tweet_data.append(hashtags)
    data_la.append(tweet_data)
    
    print(f"当前推文标签: {hashtags}")

print("所有哈希标签:", all_hashtags)

关键提醒 #

• Tweepy Cursor返回的是一次性迭代器，所有数据处理必须在第一次循环内完成，二次遍历不会得到任何内容。
• 使用entities提取标签比正则更稳妥，能覆盖#Hello-World这类带连字符的标签场景，而正则\w+会漏掉此类情况。

内容的提问来源于stack exchange，提问作者pamela.mg