Python Pandas拼接DataFrame后排序结果异常问题咨询

核心原因分析 #

1. 混合数据类型干扰：拼接后CheckTime列同时存在time对象和字符串类型，Pandas对不同类型值排序时会按类型优先级而非实际时间顺序排列，比如time对象可能被判定为"小于"字符串，导致特定时间记录异常排在顶部。
2. 类型转换不彻底：转换CheckTime时存在格式错误的异常值，这些值以NaT或原字符串形式残留，打乱了排序逻辑。
3. 原始表类型不一致：拼接前df40和df25的CheckDate/CheckTime类型不统一（比如一个是datetime，一个是字符串），拼接后列类型变为object，排序时按字符串规则而非时间规则执行。

解决步骤 #

1. 检查并统一数据类型 #

先确认目标列的类型，排查混合类型问题：

# 查看列类型
print(df41[['id', 'CheckDate', 'CheckTime']].dtypes)
# 检查CheckTime列的类型分布
print(df41['CheckTime'].apply(type).value_counts())

推荐直接合并日期和时间为完整datetime列（避免分开排序的潜在问题）：

# 转换CheckDate为标准日期类型，转换失败的设为NaT
df41['CheckDate'] = pd.to_datetime(df41['CheckDate'], errors='coerce')
# 合并日期与时间为完整datetime列
df41['CheckDatetime'] = pd.to_datetime(
    df41['CheckDate'].astype(str) + ' ' + df41['CheckTime'].astype(str),
    errors='coerce'
)

2. 清理异常值 #

排查并处理转换失败的空值或异常记录：

# 查看转换失败的异常记录
print(df41[df41['CheckDatetime'].isna()])
# 可选：删除异常记录或补全正确格式的时间
df41 = df41.dropna(subset=['CheckDatetime'])

3. 重新执行排序 #

使用合并后的完整datetime列排序，确保逻辑准确：

# 按id、完整时间升序排序，空值排在末尾
df41_sorted = df41.sort_values(
    by=['id', 'CheckDatetime'],
    ascending=True,
    na_position='last'
)

如果必须分开按CheckDate和CheckTime排序，先确保两列都是标准类型：

# 转换CheckTime为time类型
df41['CheckTime'] = pd.to_datetime(df41['CheckTime'], format='%H:%M').dt.time
# 执行排序
df41_sorted = df41.sort_values(
    by=['id', 'CheckDate', 'CheckTime'],
    ascending=True,
    na_position='last'
)

4. 验证排序结果 #

检查目标分组的时间顺序是否符合预期：

# 查看指定id的时间排序结果
print(df41_sorted[df41_sorted['id'] == '目标id'][['CheckDate', 'CheckTime']])

内容的提问来源于stack exchange，提问作者Dan