使用snscrape获取Twitter推文时遇AttributeError问题求助

问题描述 #

运行从YouTube视频复制的Twitter爬取代码时，出现AttributeError: 'FileFinder' object has no attribute 'find_module'错误，代码及报错信息如下：

代码：

import snscrape.modules.twitter as sns
import pandas as pd
from nltk.corpus import stopwords

# Define your custom query
query = "python"

for tweet in sns.TwitterSearchScraper(query).get_items():
    print(vars(tweet))
    break

报错信息：

Traceback (most recent call last):
  File "C:\Users\ambai\PycharmProjects\Twitter\tweets.py", line 1, in <module>
    import snscrape.modules.twitter as sns
  File "C:\Users\ambai\PycharmProjects\Twitter\.venv\Lib\site-packages\snscrape\modules\__init__.py", line 17, in <module>
    _import_modules()
  File "C:\Users\ambai\PycharmProjects\Twitter\.venv\Lib\site-packages\snscrape\modules\__init__.py", line 13, in _import_modules
    module = importer.find_module(moduleName).load_module(moduleName)
             ^^^^^^^^^^^^^^^^^^^^
AttributeError: 'FileFinder' object has no attribute 'find_module'

问题原因 #

该错误源于你安装的snscrape版本过旧，与Python 3.10及以上版本不兼容。Python 3.10移除了find_module()方法，但旧版snscrape的模块导入逻辑仍在调用该方法。

解决方法 #

1. 卸载当前旧版本的snscrape：

pip uninstall snscrape -y

2. 安装最新版本的snscrape：

pip install --upgrade snscrape

如果PyPI上的最新版仍未修复该问题，可直接从GitHub仓库安装开发版：

pip install git+https://github.com/JustAnotherArchivist/snscrape.git

完成操作后重新运行代码，即可正常获取Twitter推文。

内容的提问来源于stack exchange，提问作者Ambaig Baig