7万行数据集调用Nominatim API反向地理编码超时及提速咨询

一、超时成因 #

• 串行请求效率极低：用iterrows()逐行循环发起API请求，7万次请求串行执行，加上API响应延迟，总耗时会以小时计。而且Nominatim免费服务要求请求间隔至少1秒，仅等待时间就需要近20小时。
• 重试与超时配置冲突：代码中设置timeout=5，但警告显示read timeout=1，说明geopy底层的重试机制覆盖了自定义超时，重试时超时时间被缩短，更容易触发超时错误。
• API服务限流：Nominatim对免费用户的请求频率、并发数有严格限制，大量连续请求会触发限流，导致连接中断、重试甚至服务拒绝。

二、解决方法 #

1. 改用并行请求处理 #

针对IO密集型的网络请求，用多线程批量处理可大幅提升效率，同时严格控制请求速率避免限流：

import pandas as pd
from geopy.geocoders import Nominatim
from concurrent.futures import ThreadPoolExecutor, as_completed
import time

# 初始化地理编码器，设置用户代理（必填）
geo_locator = Nominatim(user_agent="airbnb_zipcode_validation", timeout=5)

def validate_zipcode(row):
    time.sleep(1)  # 遵守Nominatim请求间隔要求
    try:
        location = geo_locator.reverse((row['latitude'], row['longitude']), language='en', exactly_one=True)
        if location and row['neighbourhood'] not in location.address:
            return '00000'
        return row['zipcode']
    except Exception as e:
        print(f"Failed to process row {row.name}: {str(e)}")
        return '00000'

# 用线程池并行处理，控制并发数（建议不超过5）
with ThreadPoolExecutor(max_workers=5) as executor:
    futures = {executor.submit(validate_zipcode, row): row for _, row in d_airbnb.iterrows()}
    for future in as_completed(futures):
        row = futures[future]
        d_airbnb.at[row.name, 'zipcode'] = future.result()

2. 优化超时与重试配置 #

显式配置重试策略，避免底层重试导致的短超时：

from geopy.adapters import URLLibAdapter
import requests

session = requests.Session()
# 设置重试3次，每次间隔1秒
session.mount('https://', URLLibAdapter(max_retries=3))
geo_locator = Nominatim(user_agent="airbnb_zipcode_validation", timeout=5, adapter_factory=lambda: URLLibAdapter(max_retries=3))

3. 增加错误容错 #

捕获所有请求异常，避免单个请求失败导致整个流程中断，同时标记异常行的邮编为无效值。

三、更快的邮编校验方式 #

1. 离线地理编码 #

下载OpenStreetMap的离线数据（如OSM PBF文件），用PostGIS搭建本地地理数据库，直接在本地查询坐标对应的地址信息，完全避免网络请求开销，适合大规模数据处理。

2. 构建邻域-邮编映射表 #

如果数据集中的邻域与邮编存在固定对应关系，先统计所有有效邻域对应的邮编集合，后续直接通过映射表校验：

# 先从有效数据中构建邻域-邮编映射
neighborhood_zip_map = d_airbnb.groupby('neighbourhood')['zipcode'].unique().to_dict()

# 批量校验
def validate_with_map(row):
    valid_zips = neighborhood_zip_map.get(row['neighbourhood'], [])
    return row['zipcode'] if row['zipcode'] in valid_zips else '00000'

d_airbnb['zipcode'] = d_airbnb.apply(validate_with_map, axis=1)

3. 使用批量API服务 #

部分商业地理编码服务支持批量提交坐标（一次请求处理数十上百个点），可大幅减少网络交互次数，提升效率（注意查看服务的付费规则）。

内容的提问来源于stack exchange，提问作者Christian Cauã Forte Barreto