Pandas多DataFrame排序异常：同ID分组空白行未置底问题排查

核心思路 #

给每行加一个是否有有效Value的标记列，通过多关键字排序实现：同ID内，有值的行优先排列，且有值行按Date降序排序，空白行自动落在对应ID分组的底部。

具体实现代码 #

1. 构造示例数据（模拟你的业务场景）

import pandas as pd

data = {
    'ID': [1, 1, 2, 2, 1, 3, 3],
    'Date': ['15/Feb/23', '', '20/Jan/23', '05/Mar/23', '', '10/Apr/23', ''],
    'Value': [100, '', 'abc', '', None, 200, '']
}
df = pd.DataFrame(data)

2. 数据预处理+排序

# 将Date列转为datetime类型，空白/无效日期自动转为NaT（便于排序）
df['Date'] = pd.to_datetime(df['Date'], format='%d/%b/%y', errors='coerce')

# 生成辅助列：标记该行Value是否为有效内容（同时排除NaN和空字符串）
df['has_valid_value'] = df['Value'].notna() & (df['Value'] != '')

# 多关键字排序：ID升序 → 有效标记降序（有值的排前面） → Date降序
sorted_df = df.sort_values(
    by=['ID', 'has_valid_value', 'Date'],
    ascending=[True, False, False]
)

# 可选：删除辅助列，还原原列结构
sorted_df = sorted_df.drop(columns=['has_valid_value'])

print(sorted_df)

为什么之前的方法失效？ #

• 单独按Date降序+ID升序：空白行的Date是NaT，排序时会被直接扔到整个DataFrame的末尾，无法对应到所属ID分组。
• 拆分非空白/空白后拼接再排序：拼接后的空白行是整体块，按ID排序时会把所有同ID的空白行堆在最后，但无法保证和对应ID的非空白行紧邻（除非拼接前按ID分组处理，而你没做这一步）。

关键细节 #

• 辅助列同时判断NaN和空字符串：覆盖Value列两种常见的空白情况。
• Date转datetime时用errors='coerce'：把无效日期（比如空白）转为NaT，排序时NaT会自动落在同组的末尾，不影响非空白行的Date排序逻辑。

内容的提问来源于stack exchange，提问作者CodeNinja