如何在Dask DataFrame中按生态区域分组，用tdigest法计算NDVI的90分位数？

可以实现，但你当前的写法存在问题，需要调整：

• 问题根源：你通过apply调用Pandas的quantile并指定method='tdigest'是不可行的——Pandas原生的quantile方法并不支持tdigest参数，该算法是Dask针对分布式大数据场景实现的近似分位数方案。

• 正确实现方式：直接使用Dask提供的tdigest_quantile函数结合分组聚合agg方法，既能利用分布式计算特性，又能通过tdigest算法计算近似分位数。

修正后的代码示例：

import dask.dataframe as dd
import pandas as pd
from dask.dataframe import tdigest_quantile

data = {
    'eco_regions': ['forest', 'desert', 'forest', 'tundra', 'desert', 'tundra'],
    'ndvi': [0.8, 0.2, 0.85, 0.4, 0.18, 0.42]
}

ddf = dd.from_pandas(pd.DataFrame(data), npartitions=2)

# 按生态区域分组，用tdigest计算NDVI的0.9分位数
result = ddf.groupby('eco_regions')['ndvi'].agg(
    lambda x: tdigest_quantile(x, 0.9)
).compute()

print(result)

补充说明：

• tdigest_quantile是Dask专为分布式场景设计的近似分位数计算函数，在大数据集上的性能远优于拉取全量数据计算精确分位数，多数业务场景下近似结果足够满足需求。
• 若需精确分位数，可直接调用quantile(0.9)，但仅建议在数据量较小时使用。

内容的提问来源于stack exchange，提问作者Cursore