如何在检索时关联Twitter API返回JSON文件中的推文与对应地理位置对象

解决方案 #

你当前的问题核心是没有利用好Twitter API返回的includes字段是单响应当中所有推文共用的特性，重复嵌套循环不仅效率低还容易出现匹配错误，可以按以下步骤优化：

1. 先预处理地理位置映射字典
   在遍历所有推文之前，先把includes下的所有地点数据转换成以place_id为键的字典，一次处理全局可用，不需要在每条推文的循环里重复遍历地点列表：

# 先构建地点ID到地点详情的映射字典
place_map = {}
if 'places' in json_response.get('includes', {}):
    place_map = {place['id']: place for place in json_response['includes']['places']}

2. 遍历推文时直接匹配地点
   不需要嵌套循环，直接用当前推文的place_id去上面的映射字典里取值即可，同时做好无地理位置数据的异常兼容：

# 遍历所有推文
for tweet in json_response['data']:
    # 先初始化地点相关字段默认值为空
    full_name = country = country_code = new_geo = place_name = place_type = ''
    # 取当前推文的place_id
    tweet_geo = tweet.get('geo', {})
    place_id = tweet_geo.get('place_id')
    # 匹配地点信息
    if place_id and place_id in place_map:
        place = place_map[place_id]
        full_name = place.get('full_name', '')
        country = place.get('country', '')
        country_code = place.get('country_code', '')
        new_geo = place.get('geo', '')
        place_name = place.get('name', '')
        place_type = place.get('place_type', '')
    # 这里继续执行你原来写入CSV的逻辑

原代码问题说明 #

你原来的嵌套循环逻辑理论上也能匹配到所有对应地点，之所以仅能返回1条推文的地理位置，大概率是变量作用域处理有误：比如每次循环没有重置地点相关字段，或者在匹配到第一条后就跳出了循环，改用映射字典的方式可以完全规避这类问题，同时查找效率从O(n)降到O(1)，处理数百条推文完全无压力。

内容的提问来源于stack exchange，提问作者data_dave