Python Pandas大数据集高效列值设置方案求助

针对百万级数据集的性能问题，完全可以用Pandas/Numpy的矢量化操作替代循环和apply，以下是分步实现：

1. 生成匹配的bh_start_index列 #

首先把cal_yr和dur_mth合并为标准日期，再和bh_start_dt_list做快速匹配：

import pandas as pd
import numpy as np

# 将cal_yr和dur_mth转换为datetime格式
df['match_dt'] = pd.to_datetime(
    df['cal_yr'].astype(str) + '-' + df['dur_mth'].astype(str),
    format='%Y-%m'
)

# 把bh_start_dt_list转为日期到索引的映射字典（矢量化匹配核心）
dt_to_index = {dt: idx for idx, dt in enumerate(bh_start_dt_list)}

# 批量匹配生成bh_start_index，未匹配的暂时为NaN
df['bh_start_index'] = df['match_dt'].map(dt_to_index)

这里用字典映射替代apply，速度是循环的几十倍，完全适配百万级数据。

2. 填充默认值与向前延续索引 #

按照需求，第一个匹配日期之前的行填充-1，后续未匹配行沿用最近的匹配索引：

# 找到第一个匹配到索引的位置
first_match_pos = df['bh_start_index'].first_valid_index()

if first_match_pos is not None:
    # 第一个匹配前的所有行设为-1
    df.loc[:first_match_pos, 'bh_start_index'] = df.loc[:first_match_pos, 'bh_start_index'].fillna(-1)
    # 剩余未匹配的行向前填充最近的索引值
    df['bh_start_index'] = df['bh_start_index'].ffill()
else:
    # 如果没有任何匹配，全列设为-1
    df['bh_start_index'] = -1

用first_valid_index快速定位第一个匹配点，ffill是Pandas内置的矢量化填充方法，比手动循环快几个数量级。

3. 根据索引获取对应金额 #

最后根据bh_start_index的值，从bh_$_amt_list或orig_mth_$取值：

# 把bh_$_amt_list转为Numpy数组，方便快速索引
bh_amt_array = np.array(bh_$_amt_list)

# 矢量化判断取值：索引>=0时取bh_amt_array对应值，否则取orig_mth_$
df['final_amt'] = np.where(
    df['bh_start_index'] >= 0,
    bh_amt_array[df['bh_start_index'].astype(int)],
    df['orig_mth_$']
)

这里用np.where做矢量化条件判断，避免了逐行循环，性能拉满。

关键优化点说明 #

• 彻底抛弃apply和循环：所有操作都是Pandas/Numpy的矢量化API，底层用C实现，处理百万级数据秒级完成。
• 避免全局DF引用：通过字典映射、数组索引等方式，完全在列层面操作，没有行级的全局变量依赖，同时解决了之前的KeyError问题。
• 日期匹配用字典映射：比merge或isin更高效，适合一对一的精确匹配场景。

内容的提问来源于stack exchange，提问作者Tim