循环生成并合并DataFrame：美国各州推特数据爬取语法疑问

直接上可运行的代码方案，同时解释关键细节：

1. 先初始化一个空列表来存储每个州的结果DataFrame（不推荐逐次用append，因为效率极低且官方已弃用该方法）
2. 遍历州信息表的每一行，提取所需参数调用你的tweets函数
3. 给每个州的结果表添加state列，标记所属州
4. 最后用pd.concat一次性合并所有结果

完整代码示例 #

import pandas as pd

# 初始化空列表，用来存每个州的结果DataFrame
all_tweets = []

# 遍历states_df的每一行，itertuples比iterrows执行速度更快
for state_row in states_df.itertuples():
    # 提取当前州的名称、纬度、经度（注意列名要和你的states_df完全对应）
    state_name = state_row.州名
    lat = state_row.纬度
    lon = state_row.经度
    
    try:
        # 调用你的tweets函数获取该州的推特数据
        state_tweets = tweets(state_name, lat, lon)  # 请匹配你的函数参数顺序
        
        # 给当前州的推特数据添加state标记列
        state_tweets['state'] = state_name
        
        # 将该州结果存入列表
        all_tweets.append(state_tweets)
    except Exception as e:
        # 捕获异常避免单个州爬取失败导致整个循环中断
        print(f"爬取{state_name}时出错: {str(e)}")
        continue

# 一次性合并所有州的结果为大DataFrame
final_df = pd.concat(all_tweets, ignore_index=True)

# 验证结果
print(final_df.head())
print(final_df['state'].value_counts())

关键细节说明 #

• 列表收集+concat的优势：pd.DataFrame.append已被官方标记为弃用，且每次append都会生成新的DataFrame对象，循环50次会产生大量临时数据，效率远低于先存列表再一次性合并。
• 列名匹配：代码里的state_row.州名、state_row.纬度必须和你states_df的实际列名完全一致，比如你的列名是state_name、latitude，就对应改成state_row.state_name、state_row.latitude。
• 异常处理：加入try-except是为了应对网络波动、函数调用失败等意外情况，确保单个州爬取出错时，其他州的任务能继续执行。

内容的提问来源于stack exchange，提问作者Alex