查询Twitter数据的工具包推荐:支持按日期范围检索Tweets
指定日期范围查询Tweets的实现方案
基于现有rtweets工具的优化方案
你当前使用的rtweets本身就支持时间范围筛选,不需要额外更换工具:
- 调用
search_tweets()函数时,传入since和until参数指定你需要的起止日期,日期格式为YYYY-MM-DD,示例参数:since = "2023-10-01", until = "2023-10-31" - 针对单次最多查询18000条的限制,可以自行实现分页拉取逻辑:每次请求结束后,取出返回结果中最小的status_id作为下一次请求的
max_id参数,循环拉取直到返回结果为空,或者已经覆盖你要的全部时间范围 - 普通X开发者账号仅支持拉取最近7天的公开Tweets,如果你需要查询更早的历史数据,需要先申请X的学术研究或企业级开发者权限
其他可选工具方案
- R生态下可选用
academictwitteR包:该包针对X学术版API做了原生适配,内置自动分页逻辑,只需要传入start_tweets和end_tweets参数即可批量拉取指定时间范围的Tweets,不需要手动处理分页,配额足够的前提下单次拉取量远高于18000条 - Python生态下可选用
tweepy库:适配全版本X API,同样支持时间范围筛选和批量分页拉取,适合有Python开发基础的场景使用
注意事项
- 所有拉取操作都需要对应权限的X开发者账号,你需要先在X开发者平台完成账号注册和权限申请
- 拉取过程中建议遵守API速率限制,每次请求之间添加1-2秒的延迟,避免触发临时访问封禁
- 如果需要查询的时间范围跨度大、预期数据量高,可以将时间范围拆分为更小的时间片(按天/按小时)逐个拉取,降低单次请求的出错概率,也方便中途断点续传
内容的提问来源于stack exchange,提问作者Heather_B
相关产品推荐
相关产品推荐

