如何加速Pandas中reverse_geocoder填充country_code空值并消除警告

无警告的批量实现 #

你之前的循环赋值触发警告，是因为链式索引可能生成DataFrame副本，而非直接操作原数据。改用loc精准定位目标行，结合批量查询一次性赋值，彻底解决警告同时保持高效：

import reverse_geocoder as rg

# 定位需要填充的行：country_code为空且geo_coords非空
fill_mask = df["country_code"].isna() & df["geo_coords"].notna()
target_coords = df.loc[fill_mask, "geo_coords"]

# 批量转换坐标格式：GeoJSON的[lon, lat]反转成(lat, lon)元组
coords_list = [tuple(coord[::-1]) for coord in target_coords]

# 批量查询国家码（mode=2是批量优化模式，大幅提升速度）
geo_results = rg.search(coords_list, mode=2)
country_codes = [res["cc"] for res in geo_results]

# 直接通过loc赋值，完全避免切片副本问题
df.loc[fill_mask, "country_code"] = country_codes

关键优化点： #

• 用fill_mask精准筛选需要处理的行，跳过无需操作的数据
• 用列表推导式替代apply处理坐标，速度比apply快20%-30%
• 取消循环赋值，直接将结果列表映射到目标列，消除索引遍历的开销

进一步提升性能 #

如果数据量超过10k行，可额外做这些优化：

1. 提前加载reverse_geocoder数据库：在脚本开头执行以下代码，避免每次查询重复初始化：

rg.update()  # 可选：更新到最新的地理数据
rg._init()   # 将数据库预加载到内存

2. 去重坐标查询：如果存在重复的geo_coords，先去重查询再映射回原DataFrame，减少查询次数：

# 提取唯一坐标并查询
unique_coords = target_coords.unique()
unique_tuples = [tuple(c[::-1]) for c in unique_coords]
unique_results = rg.search(unique_tuples, mode=2)
# 构建坐标到国家码的映射字典
coord_to_cc = dict(zip(unique_coords, [res["cc"] for res in unique_results]))
# 映射回原DataFrame
df.loc[fill_mask, "country_code"] = target_coords.map(coord_to_cc)

可选替代模块 #

如果reverse_geocoder的精度或功能不符合需求，可考虑这些方案：

• geopy（Nominatim）：基于OpenStreetMap的免费API，精度更高，但有请求速率限制（建议加延迟），适合小批量数据：

from geopy.geocoders import Nominatim
from geopy.extra.rate_limiter import RateLimiter

# 初始化地理编码器，设置用户标识
geolocator = Nominatim(user_agent="your_app_name")
# 添加速率限制，避免触发API封禁
reverse_lookup = RateLimiter(geolocator.reverse, min_delay_seconds=1)

# 批量转换坐标并查询
def get_cc_from_coords(coord):
    # Nominatim需要的格式是"lat, lon"
    location = reverse_lookup(f"{coord[1]}, {coord[0]}")
    return location.raw.get("address", {}).get("country_code", None)

df.loc[fill_mask, "country_code"] = target_coords.apply(get_cc_from_coords)

• 离线边界匹配：如果需要完全离线且精度可控，可结合geopandas加载国家边界GeoJSON，用空间查询匹配坐标所属国家，再用pycountry映射国家码。

内容的提问来源于stack exchange，提问作者cicciodevoto