如何使用Twint抓取指定年份与位置的Covid-19相关推文
Twint 抓取指定年份、地理位置推文的代码调整方案
核心新增配置说明
- 时间范围限制:通过
c.Since和c.Until两个参数限定推文发布时间,参数格式为YYYY-MM-DD HH:MM:SS(可省略时分秒,默认00:00:00)。如果要抓取去年的全年内容(以2024年为当前时间为例),设置为c.Since = "2023-01-01"、c.Until = "2024-01-01"即可。 - 地理位置限制:两种常用配置方式二选一即可:
- 按地区名称筛选:直接给
c.Near赋值目标地区名,比如要筛选上海发的推文就设c.Near = "Shanghai" - 按经纬度+半径筛选:给
c.Geo赋值"纬度,经度,半径范围",比如要抓取北京为中心15公里范围的推文就设c.Geo = "39.9042,116.4074,15km"
- 按地区名称筛选:直接给
- 可选:如果需要把抓取结果输出为Pandas DataFrame(你已经导入了pandas),可新增配置
c.Pandas = True,抓取完成后用twint.storage.panda.Tweets_df即可拿到结果集。
调整后的完整可运行代码
import twint import nest_asyncio import pandas as pd nest_asyncio.apply() c = twint.Config() c.Search = "Covid-19" # 新增时间范围配置(按实际需求修改日期) c.Since = "2023-01-01" c.Until = "2024-01-01" # 新增地理位置配置,二选一即可 c.Near = "Shanghai" # 按地区名筛选 # c.Geo = "39.9042,116.4074,15km" # 按经纬度+半径筛选 # 可选:输出为DataFrame的配置 c.Pandas = True twint.run.Search(c) # 拿取DataFrame结果(开启了Pandas配置后可执行) tweets_df = twint.storage.panda.Tweets_df
注意事项
- Twint不依赖Twitter官方实时API接口,部分旧推文可能因为用户隐私设置或者删除无法抓取到
- 如果用
c.Near筛选地区名时匹配结果偏差较大,建议改用经纬度+半径的c.Geo方式,准确率更高 - 时间范围不要设置过长,否则容易触发Twitter的反爬限制,必要时分批次按月份抓取
内容的提问来源于stack exchange,提问作者Yoshith Kotla
相关产品推荐
相关产品推荐

