使用Tweepy爬取#PakistanReject_Israel热门话题推文仅返回948条的问题排查
爬取结果不足的原因排查与解决方案
核心根因
这个问题不是代码存在逻辑错误,程序能正常返回0退出码,说明整个爬取流程顺利跑完,只是接口没有返回更多匹配数据给Tweepy的Cursor,导致循环提前结束。本质触发的是Twitter v1.1标准搜索接口的固有硬限制,不是Tweepy本身的bug。
具体接口限制说明
普通免费开发者权限下,api.search接口存在两个固定阈值:
- 单关键词查询最多返回1000条匹配结果,不管全网关联话题的推文总规模有多大,接口不会推送超过这个数量的内容。你这次只爬到948条,差一点到1000的阈值,就是因为接口已经把所有能返回的匹配结果推完了。
- 接口仅支持检索爬取时间点往前推7天内的公开推文,你代码里写的
since=2020-11-20这类远早于7天窗口的参数,会被接口直接忽略,根本不会按你设置的历史时间回溯数据。
你之前用同样代码单次爬到6万条推文的场景,一般是没有触发单查询的1000条返回上限:要么当时的话题匹配量在接口返回窗口内没到阈值,要么当时申请的接口权限等级更高,没有普通账号的返回数量限制。
代码存在的附带问题
这些问题虽不是这次爬取量不足的核心原因,但会引发其他运行异常:
- 代码中引用的
count变量没有做初始化,也没有在循环内累加,真触发网络连接错误时,打印爬取量的逻辑会直接抛出“变量未定义”的异常。 - 你用追加模式
"a"打开json文件,没有做格式适配的情况下,多次运行的爬取内容会直接拼接成不合法的json结构——比如两个完整的json对象直接相邻,没有数组包裹、没有逗号分隔,后续根本无法正常读取。 - 没有对接口返回的重复内容做去重处理,容易出现同一条推文被多次写入文件的问题。
可落地的调整方案
- 如果持续使用普通免费开发者权限:把查询逻辑按天做时间切片,每次仅检索单日窗口内的推文,绕开单查询1000条的返回上限,把多天的结果累加就能大幅提升爬取总量;同时把
since参数设置在最近7天的范围内,避免参数被接口忽略失效。 - 如果需要爬取某话题累计数万条的历史数据,普通免费权限无法实现,需要申请Twitter高级开发者权限(比如学术研究类专属权限),才能解除单查询的返回条数限制、支持更长周期的历史数据检索。
- 修正代码的附带问题:在循环前初始化
count=0,每爬取一条数据就做自增;把文件打开模式调整为写入模式,或是提前用json数组结构包裹所有爬取内容,写入时按规范添加分隔符,避免文件格式损坏。
内容的提问来源于stack exchange,提问作者Adnan Ali
相关产品推荐
相关产品推荐

