Tweepy流式接口多线程实现咨询:刷新页面无法正常返回数据
Tweepy流式拉取多线程使用说明与问题修复
可以在Tweepy流式拉取时使用多线程,不过Tweepy已经内置了异步运行能力,不需要自行实现多线程逻辑,你当前的异常是代码使用错误导致的,核心问题有两个:
- 未自定义流监听器的处理逻辑:默认的
tweepy.StreamListener没有对接收到的推文做存储处理,拉取到的数据不会被持久化,刷新页面自然无法获取历史数据 - 重复调用
stream.filter()方法:第一次调用已经启动了流监听,第二次调用会直接冲突,且第二个filter没有加异步参数,会阻塞主线程,导致页面服务和流监听都无法正常运行
旧版本(Tweepy v3.x)修复后示例
import tweepy # 示例用全局列表做临时缓存,生产环境推荐替换为Redis、数据库等存储 tweet_cache = [] class MyStreamListener(tweepy.StreamListener): def on_status(self, status): # 处理接收到的推文并存入缓存 tweet_cache.append(status._json) # 限制缓存长度避免内存溢出 if len(tweet_cache) > 1000: tweet_cache.pop(0) def on_error(self, status_code): print(f"流异常,状态码:{status_code}") # 420为速率限制错误,返回False自动断开连接避免被平台封禁 if status_code == 420: return False # 认证逻辑保持不变 auth = tweepy.OAuthHandler(myaplkey, myappsecret) auth.set_access_token(mytokenkey, mytokensecret) api = tweepy.API(auth) stream_listener = MyStreamListener() stream = tweepy.Stream(auth=api.auth, listener=stream_listener) # 仅调用一次filter,开启异步运行不会阻塞主线程 stream.filter(track=settings.TRACK_TERMS, a_sync=True)
新版本(Tweepy v4.0+)修复后示例
v4版本已废弃StreamListener类和a_sync参数,对应写法调整为:
import tweepy tweet_cache = [] class MyStream(tweepy.Stream): def on_tweet(self, tweet): tweet_cache.append(tweet.data) if len(tweet_cache) > 1000: tweet_cache.pop(0) def on_error(self, status_code): print(f"流异常,状态码:{status_code}") if status_code == 420: return False # 初始化流时直接传入四个认证参数 stream = MyStream(myaplkey, myappsecret, mytokenkey, mytokensecret) # threaded参数替代旧版本a_sync,开启独立线程运行流监听 stream.filter(track=settings.TRACK_TERMS, threaded=True)
额外注意事项
- 页面渲染时直接读取缓存/数据库中的推文数据即可,后台流线程会持续拉取新数据存入存储介质,不会影响页面服务运行
- 多进程部署场景下不要用全局变量做缓存,需使用Redis等共享存储服务,避免多进程数据不同步
内容的提问来源于stack exchange,提问作者Sid Brooklyn
相关产品推荐
相关产品推荐

