如何更新导出Twitter数据至CSV的Pandas DataFrame?
实现CSV文件追加写入的解决方案
要实现追加而非覆盖原有CSV文件,只需修改df.to_csv()的参数,同时处理表头重复的问题,具体操作如下:
- 导入
os模块用于判断目标文件是否存在 - 调整
to_csv的参数,开启追加模式并控制表头写入逻辑
修改后的完整代码:
import os import pandas as pd # 创建数据结构 columns = ['source', 'created_at', 'ID', 'user', 'tweet', 'likes', 'location', 'coordinates'] data = [] for tweet in tweets: data.append([tweet.source, tweet.created_at, tweet.id, tweet.user.screen_name, tweet.full_text, tweet.favorite_count, tweet.user.location, tweet.coordinates]) df = pd.DataFrame(data, columns=columns) # 追加写入CSV,自动处理表头 df.to_csv( 'tweets.csv', index=True, mode='a', # 切换为追加模式,替代默认的覆盖模式 header=not os.path.exists('tweets.csv') # 文件不存在时写入表头,存在则跳过表头 )
参数说明:
mode='a':将写入模式从默认的覆盖('w')改为追加,新抓取的推文数据会添加到文件末尾header=not os.path.exists('tweets.csv'):第一次运行时文件不存在,自动写入表头;后续运行时文件已存在,跳过表头避免重复index=True:保留你原本设置的写入索引,若不需要可改为False
内容的提问来源于stack exchange,提问作者Myr
相关产品推荐
相关产品推荐

