You need to enable JavaScript to run this app. 使用Tweepy爬取#PakistanReject_Israel热门话题推文仅返回948条的问题排查
优惠活动
大模型
产品
解决方案
定价
更多

使用Tweepy爬取#PakistanReject_Israel热门话题推文仅返回948条的问题排查

爬取结果不足的原因排查与解决方案

核心根因

这个问题不是代码存在逻辑错误,程序能正常返回0退出码,说明整个爬取流程顺利跑完,只是接口没有返回更多匹配数据给Tweepy的Cursor,导致循环提前结束。本质触发的是Twitter v1.1标准搜索接口的固有硬限制,不是Tweepy本身的bug。

具体接口限制说明

普通免费开发者权限下,api.search接口存在两个固定阈值:

  • 单关键词查询最多返回1000条匹配结果,不管全网关联话题的推文总规模有多大,接口不会推送超过这个数量的内容。你这次只爬到948条,差一点到1000的阈值,就是因为接口已经把所有能返回的匹配结果推完了。
  • 接口仅支持检索爬取时间点往前推7天内的公开推文,你代码里写的since=2020-11-20这类远早于7天窗口的参数,会被接口直接忽略,根本不会按你设置的历史时间回溯数据。

你之前用同样代码单次爬到6万条推文的场景,一般是没有触发单查询的1000条返回上限:要么当时的话题匹配量在接口返回窗口内没到阈值,要么当时申请的接口权限等级更高,没有普通账号的返回数量限制。

代码存在的附带问题

这些问题虽不是这次爬取量不足的核心原因,但会引发其他运行异常:

  • 代码中引用的count变量没有做初始化,也没有在循环内累加,真触发网络连接错误时,打印爬取量的逻辑会直接抛出“变量未定义”的异常。
  • 你用追加模式"a"打开json文件,没有做格式适配的情况下,多次运行的爬取内容会直接拼接成不合法的json结构——比如两个完整的json对象直接相邻,没有数组包裹、没有逗号分隔,后续根本无法正常读取。
  • 没有对接口返回的重复内容做去重处理,容易出现同一条推文被多次写入文件的问题。

可落地的调整方案

  • 如果持续使用普通免费开发者权限:把查询逻辑按天做时间切片,每次仅检索单日窗口内的推文,绕开单查询1000条的返回上限,把多天的结果累加就能大幅提升爬取总量;同时把since参数设置在最近7天的范围内,避免参数被接口忽略失效。
  • 如果需要爬取某话题累计数万条的历史数据,普通免费权限无法实现,需要申请Twitter高级开发者权限(比如学术研究类专属权限),才能解除单查询的返回条数限制、支持更长周期的历史数据检索。
  • 修正代码的附带问题:在循环前初始化count=0,每爬取一条数据就做自增;把文件打开模式调整为写入模式,或是提前用json数组结构包裹所有爬取内容,写入时按规范添加分隔符,避免文件格式损坏。

内容的提问来源于stack exchange,提问作者Adnan Ali

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.16 13:36:03