如何获取近一个月内每小时包含Ethereum关键词的推文数量
统计含Ethereum关键词推文每小时发布量的落地方案
首先明确前提:X(原Twitter)的公开推文数据仅支持通过官方开放接口获取,所有可落地方案都需要先申请对应层级的开发者API权限。
方案1:有开发能力的低成本实现
- 第一步:申请X开发者账号的
Basictier API权限,该层级支持近30天的全归档推文检索,调用量足够覆盖该统计需求 - 第二步:编写数据拉取脚本,核心检索参数配置如下:
- 检索规则:
Ethereum,如果需要排除转推、回复、垃圾内容可以调整为Ethereum -is:retweet -is:reply -is:spam,需要覆盖缩写的话改为Ethereum OR ETH - 时间范围:设置为当前时间往前推30天的准确起止时间戳
- 返回字段仅保留
created_at(推文发布时间)即可,降低请求开销
- 检索规则:
- 第三步:数据聚合统计,拉取完所有符合条件的推文后,将所有
created_at字段统一对齐到你需要的时区,按小时粒度做分组计数即可。用Python实现的话可以直接调用pandas.Grouper(freq='H')完成聚合,一行代码即可输出每小时的发布总量 - 补充提示:如果遇到接口速率限制,在脚本中添加对应时长的等待逻辑即可,30天的相关推文数据量不大,单线程拉取最多几小时即可完成全量采集
方案2:无代码的快速实现
- 直接使用已对接X官方全量数据接口的社交媒体监听工具,在后台配置检索关键词为Ethereum、时间范围为近30天、统计维度为每小时发布量,平台会自动完成数据拉取和统计,直接输出结果报表即可
- 优势是不需要处理API权限申请、速率限制、数据清洗等问题,工具内置了垃圾内容过滤、去重逻辑,统计结果准确率更高
注意事项
- 统计前需要统一时区标准,优先使用UTC时间做聚合,避免跨天的小时统计出现偏差,需要转换为本地时区的话可在聚合完成后统一转换
- 如果统计量级和预期偏差较大,优先检查检索规则是否有误过滤的内容,确认是否需要添加相关变体词、缩写词到检索规则中
内容的提问来源于stack exchange,提问作者Nawras Amal
相关产品推荐
相关产品推荐

