Tweepy AsyncStream拉流py文件报HTTP420错误Jupyter正常如何修复
问题原因解析
HTTP 420错误说明
HTTP 420是Twitter v1.1流API的专属限流错误,触发原因是短时间内流连接异常断开后反复重连,平台会逐步延长封禁时长,从1分钟起步最高可达16分钟。
两种环境表现不一致的原因
Jupyter Notebook的异步事件循环是内核常驻的,单次代码运行触发报错后,之前已经建立的流连接不会被完全销毁,会在后台继续接收数据,所以会出现报错同时仍有响应返回的情况;
而.py文件是独立进程运行,启动时会创建全新的事件循环,报错后进程直接退出,没有残留的存活连接,所以完全无法正常工作。
代码本身的问题
- 存在未定义变量:
on_status方法中调用的status_json没有定义,会触发运行时错误,导致流连接异常断开,多次异常断开会直接触发420限流。 - 冗余导入冲突:重复导入了不需要的
Stream类,还导入了未使用的OAuthHandler,可能引发命名冲突。 - 协程逻辑错误:
stream.filter()是长期阻塞的协程,其后的await asyncio.sleep(1.5)永远不会被执行,流连接会一直持续直到被主动断开或者报错。
修复方案
- 第一步:清理冗余代码,修正基础错误
修正后的可运行代码如下:
from __future__ import absolute_import, print_function from pprint import pprint from tweepy.asynchronous import AsyncStream import asyncio # 替换为自己的接口密钥 CONSUMER_KEY = "你的CONSUMER_KEY" CONSUMER_SECRET = "你的CONSUMER_SECRET" ACCESS_TOKEN = "你的ACCESS_TOKEN" ACCESS_TOKEN_SECRET = "你的ACCESS_TOKEN_SECRET" class StdOutListener(AsyncStream): async def on_status(self, status): # 修正未定义变量错误 pprint(status._json) async def on_error(self, status_code): print(f"流错误,状态码:{status_code}") # 遇到420错误主动断开,避免反复触发限流 if status_code == 420: return False async def main(): stream = StdOutListener(CONSUMER_KEY, CONSUMER_SECRET, ACCESS_TOKEN, ACCESS_TOKEN_SECRET) # 增加stall_warnings参数,接收连接超时预警 await stream.filter(follow=['1082189695252074496'], stall_warnings=True) if __name__ == '__main__': asyncio.run(main())
- 第二步:解除现有420限流
如果你已经触发了420错误,先停止所有请求15分钟,等限流解除后再测试。后续运行如果报错断开,不要立刻重启脚本,按照指数退避规则等待(首次等1分钟,第二次等2分钟,以此类推,最多等待16分钟)再重连,避免触发更长时间的封禁。 - 第三步(可选):调整定时停止逻辑
如果需要主动控制流的运行时长,可以把stream.filter放到后台任务运行,示例如下:
async def main(): stream = StdOutListener(CONSUMER_KEY, CONSUMER_SECRET, ACCESS_TOKEN, ACCESS_TOKEN_SECRET) # 将filter设为后台任务 filter_task = asyncio.create_task(stream.filter(follow=['1082189695252074496'], stall_warnings=True)) # 运行1.5秒后主动取消任务 await asyncio.sleep(1.5) filter_task.cancel() try: await filter_task except asyncio.CancelledError: print("流已主动停止")
内容的提问来源于stack exchange,提问作者emil
相关产品推荐
相关产品推荐

