Tweepy报错'ItemIterator' object has no attribute 'user'求解
错误产生原因
你在收集推文的循环中出现变量名书写错误:tw.Cursor(...).items(100)返回的tweets是ItemIterator迭代器对象,遍历迭代器时拿到的单条推文对象是循环变量tweet_df,但你往tweets_copy列表中追加的是迭代器本身而非单条推文对象。后续遍历tweets_copy时拿到的所有元素都是迭代器,自然不存在user属性。
额外补充:你当前使用的时间参数fromDate/toDate是Twitter企业级搜索API的参数,普通开发者使用的v1.1标准搜索接口对应的时间筛选参数为since和until,参数错误会导致爬取的推文时间范围不符合预期。
修复方案
- 修正推文收集阶段的变量错误,同时替换正确的时间筛选参数
修改后的抓取代码如下:
search_words = "#BTC -filter:retweets" # 若使用Tweepy v4.x版本,将api.search替换为api.search_tweets tweets = tw.Cursor(api.search, q=search_words, lang="en", since='2021-07-08', until='2021-08-08').items(100) tweets_copy = [] for tweet in tqdm(tweets): # 追加单条推文对象,而非迭代器本身 tweets_copy.append(tweet)
- 优化DataFrame生成逻辑,规避高版本Pandas已废弃的
append方法
修改后的转DataFrame代码如下:
tweets_list = [] for tweet in tqdm(tweets_copy): hashtags = [] try: for hashtag in tweet.entities["hashtags"]: hashtags.append(hashtag["text"]) except: pass tweets_list.append({ 'name': tweet.user.screen_name, 'user_location': tweet.user.location, 'user_description': tweet.user.description, 'user_created': tweet.user.created_at, 'user_followers': tweet.user.followers_count, 'user_friends': tweet.user.friends_count, 'user_favourites': tweet.user.favourites_count, 'user_verified': tweet.user.verified, 'date': tweet.created_at, 'text': tweet.text, 'hashtags': hashtags if hashtags else None, 'source': tweet.source, 'is_retweet': tweet.retweeted }) # 统一转换为DataFrame,性能远高于循环append tweets_df = pd.DataFrame(tweets_list)
内容的提问来源于stack exchange,提问作者Bitcoin
相关产品推荐
相关产品推荐

