如何高效向已排序的Pandas DataFrame中插入新行？

这个问题我太有体会了！当DataFrame数据量上去之后，追加再全量排序真的会拖慢速度——毕竟已经是排好序的，完全没必要重新遍历所有数据。下面给你一套通用的高效解决方案，核心是用bisect模块快速定位插入位置，时间复杂度是O(log n)，比全量排序的O(n log n)高效太多：

核心思路 #

利用Python标准库的bisect模块，它专门用于在有序序列中快速查找插入位置，完美匹配我们的需求：原DataFrame已经是排序好的，我们只需要把排序键提取成有序序列，就能用bisect找到新行的准确位置，再拆分拼接DataFrame即可。

通用步骤（单列排序） #

1. 提取排序键序列：把原DataFrame用于排序的列转换成列表（比如你按col_name升序排，就取df[col_name].tolist()）
2. 获取新行的排序键值：从新行数据中提取对应列的值，确保类型和原列一致
3. 定位插入索引：用bisect.bisect_left()（或bisect_right()，根据重复值需求选择）找到插入位置
4. 拼接插入新行：用pd.concat()把原DataFrame拆成插入点前、新行、插入点后三部分，再合并

代码示例（单列排序） #

import pandas as pd
import bisect

# 已排序的原DataFrame（按'value'升序）
df = pd.DataFrame({'id': [1, 2, 3, 5], 'value': [10, 20, 30, 50]})

# 待插入的新行（注意列名要和原DF完全一致）
new_row = pd.DataFrame({'id': [4], 'value': [40]})

# 1. 提取排序键的有序列表
sorted_keys = df['value'].tolist()
# 2. 获取新行的排序键值
new_key = new_row['value'].iloc[0]
# 3. 找到插入位置（bisect_left会把重复值插在现有相同值的前面）
insert_idx = bisect.bisect_left(sorted_keys, new_key)
# 4. 拆分拼接
df = pd.concat([df.iloc[:insert_idx], new_row, df.iloc[insert_idx:]]).reset_index(drop=True)

print(df)
# 输出结果：
#    id  value
# 0   1     10
# 1   2     20
# 2   3     30
# 3   4     40
# 4   5     50

多列排序的处理 #

如果你的DataFrame是按多列排序的（比如先按category，再按value），只需要把排序键转换成可比较的元组即可，bisect支持对元组按顺序比较：

import pandas as pd
import bisect

# 多列排序的原DF（先按'category'升序，再按'value'升序）
df = pd.DataFrame({
    'category': ['A', 'A', 'B', 'B'],
    'value': [10, 30, 20, 40]
}).sort_values(by=['category', 'value'])

# 新行
new_row = pd.DataFrame({'category': ['A'], 'value': [20]})

# 1. 生成排序键的元组列表（顺序要和排序时的列顺序一致）
sorted_keys = list(zip(df['category'], df['value']))
# 2. 新行的键元组
new_key = (new_row['category'].iloc[0], new_row['value'].iloc[0])
# 3. 定位插入位置
insert_idx = bisect.bisect_left(sorted_keys, new_key)
# 4. 拼接
df = pd.concat([df.iloc[:insert_idx], new_row, df.iloc[insert_idx:]]).reset_index(drop=True)

print(df)
# 输出结果：
#   category  value
# 0        A     10
# 1        A     20
# 2        A     30
# 3        B     20
# 4        B     40

注意事项 #

• 确保新行的列名、数据类型和原DataFrame完全一致，否则pd.concat会生成NaN值
• 关于bisect_left vs bisect_right：如果原DataFrame中有和新行排序键相同的记录，bisect_left会把新行插在现有相同记录的前面，bisect_right会插在后面，根据你的排序稳定性需求选择
• 如果原DataFrame使用了自定义索引，插入后建议用reset_index(drop=True)重置索引，避免索引混乱

内容的提问来源于stack exchange，提问作者mareoraft