使用Twint爬取推特时出现'globalObjects'无数据报错的技术求助

CRITICAL:root:twint.run:Twint:Feed:noData'globalObjects'报错分析与临时方案 #

这个报错的核心原因是Twitter网页端的数据结构已更新，但Twint项目已停止维护，源码中解析globalObjects字段的逻辑完全失效——globalObjects是Twint提取推文数据的核心节点，结构变更后自然无法获取数据。

临时应急修复（仅短期有效，无法解决根本问题）：

• 找到Twint源码中的twint/feed.py文件，修改其中解析Feed数据的代码，适配Twitter当前的网页数据结构。但Twitter会频繁调整前端结构，这种修复很快会再次失效。

爬虫/账号封禁的排查方法 #

这个报错更大概率是Twint本身的适配问题，但也不能完全排除封禁可能，可通过以下方式验证：

• 用当前IP的浏览器访问Twitter，搜索目标内容，若能正常加载推文，说明IP/账号未被封禁；若提示访问限制或无法加载内容，则大概率是IP/账号被限制。
• 尝试用Twint爬取热门公开推文，若仍报相同错误，可排除封禁问题，确认是Twint解析逻辑失效。

稳定替代爬虫推荐 #

鉴于Twint已停止维护，推荐以下活跃维护的工具：

• snscrape：无需Twitter API密钥，支持爬取公开推文、用户主页、话题等内容，维护活跃，能及时适配Twitter的结构变化，支持将数据导出为CSV/JSON格式，便于导入Elasticsearch。
• Tweepy：基于官方Twitter API v2，需申请API密钥（提供免费额度），数据获取稳定合规，支持完整的推文字段提取，官方文档完善，适合对可靠性要求高的场景。
• TwitterAPI：基于官方API封装，代码简洁易上手，支持流式和批量数据获取，适合快速开发需求。

内容的提问来源于stack exchange，提问作者Petrina Troulitaki