Dask使用map_partitions计算经纬度距离触发ValueError问题问询

• 空值判断逻辑错误：np.nan 无法通过 ==/!= 做等值判断，np.nan != np.nan 的返回值为 True，会导致空值判断完全失效，正确的空值判断应该使用 pd.isna() 或 np.isnan()。
• 函数参数不匹配：你定义的calc_distance_miles 是处理单个数值的函数，但实际调用时传入的是分区内的整列Series，对整个Series执行if判断时无法直接得到布尔标量，就会触发你遇到的「真值模糊」报错。

方案1：行级处理（快速实现，代码改动最小） #

如果你希望保留geopy的计算逻辑，只需要调整分区内的处理逻辑，按行调用计算函数，同时修正空值判断：

import pandas as pd
import numpy as np
from geopy import distance

def calc_distance_miles(row):
    # 用pd.isna兼容所有空值类型
    if not pd.isna(row['latitude_1']) and not pd.isna(row['longitude_1']) and not pd.isna(row['latitude_2']) and not pd.isna(row['longitude_2']):
        return distance.distance(
            (row['latitude_1'], row['longitude_1']), 
            (row['latitude_2'], row['longitude_2'])
        ).miles
    return np.nan

# meta需要保留原有所有列，仅新增distance字段，避免原有数据丢失
big_df = big_df.map_partitions(
    lambda df: df.assign(distance=df.apply(calc_distance_miles, axis=1)),
    meta=big_df.assign(distance=np.float64(0)).dtypes
).persist()

该方案逻辑直观、代码改动量小，缺点是纯Python行级遍历性能一般，适合数据量较小、对耗时要求不高的场景。

方案2：向量化计算（高性能，适合千万级大数据量） #

针对3200万条的规模，推荐用NumPy实现的哈弗辛（Haversine）公式做向量化距离计算，性能比geopy行级处理高100倍以上，且天然兼容空值：

import numpy as np

def haversine_miles(lat1, lon1, lat2, lon2):
    # 角度转弧度
    lat1, lon1, lat2, lon2 = map(np.radians, [lat1, lon1, lat2, lon2])
    # 哈弗辛距离公式
    dlat = lat2 - lat1
    dlon = lon2 - lon1
    a = np.sin(dlat/2)**2 + np.cos(lat1) * np.cos(lat2) * np.sin(dlon/2)**2
    c = 2 * np.arcsin(np.sqrt(a))
    # 地球半径取3956英里，返回英里距离
    return c * 3956

big_df = big_df.map_partitions(
    lambda df: df.assign(
        distance=haversine_miles(
            df['latitude_1'], df['longitude_1'], 
            df['latitude_2'], df['longitude_2']
        )
    ),
    meta=big_df.assign(distance=np.float64(0)).dtypes
).persist()

该方案不需要做显式空值判断，numpy的向量化运算会自动将涉及空值的计算结果返回为np.nan，完全满足空值兼容需求。

如果经纬度空值占比较高，可以在计算前先过滤掉空值记录，进一步提升性能：

big_df = big_df.dropna(subset=['latitude_1','longitude_1','latitude_2','longitude_2'], how='any')

内容的提问来源于stack exchange，提问作者m.will325