Excel：无需排序大数据集统计首次通过考试的学生人数

嘿，这个需求太真实了——处理大数据集时排序简直是性能杀手，完全没必要为了这个场景做全量排序。下面给你几个不同工具下的高效解决方案，核心思路都是先定位每个学生的首次考试记录，再筛选其中通过的情况，全程不用对整个数据集排序：

1. SQL 方案（数据库端处理） #

SQL的聚合函数天生适合做这种分组找极值的操作，MIN()函数可以直接拿到每个学生最早的考试日期，完全不需要全量排序。这里以常见的关系型数据库为例：

方法一：子查询关联 #

SELECT COUNT(DISTINCT er.student_id) AS first_try_pass_count
FROM exam_results er
JOIN (
    -- 先找到每个学生的首次考试日期
    SELECT student_id, MIN(date_of_sitting) AS first_sitting_date
    FROM exam_results
    GROUP BY student_id
) first_exams ON er.student_id = first_exams.student_id 
             AND er.date_of_sitting = first_exams.first_sitting_date
WHERE er.test_outcome = 'Pass'; -- 筛选首次考试通过的学生

方法二：窗口函数（更简洁） #

如果你的数据库支持窗口函数（比如PostgreSQL、MySQL 8+、SQL Server），可以用ROW_NUMBER()实现——注意这里只是在每个学生的小分组内排序，不是全量数据集排序，性能依旧远优于全量排序：

SELECT COUNT(DISTINCT student_id) AS first_try_pass_count
FROM (
    SELECT 
        student_id,
        test_outcome,
        -- 按学生分组，给每条记录按日期标记序号，最早的考试序号为1
        ROW_NUMBER() OVER (PARTITION BY student_id ORDER BY date_of_sitting ASC) AS exam_order
    FROM exam_results
) ranked_exams
WHERE exam_order = 1 AND test_outcome = 'Pass';

2. Python Pandas 方案（本地数据集处理） #

Pandas里同样可以通过分组聚合避免全量排序，效率很高：

方法一：分组找首次日期再关联筛选 #

import pandas as pd

# 假设你的数据集是df，字段为student_id, test_outcome, date_of_sitting
df['date_of_sitting'] = pd.to_datetime(df['date_of_sitting'])

# 找到每个学生的首次考试日期
first_dates = df.groupby('student_id')['date_of_sitting'].min().reset_index()

# 关联原表，拿到首次考试的记录
first_exams = pd.merge(df, first_dates, on=['student_id', 'date_of_sitting'])

# 统计首次通过的学生数（去重避免同一学生多条记录）
first_pass_count = first_exams[first_exams['test_outcome'] == 'Pass']['student_id'].nunique()

print(f"首次考试即通过的学生人数：{first_pass_count}")

方法二：用transform标记首次考试记录（更高效） #

import pandas as pd

df['date_of_sitting'] = pd.to_datetime(df['date_of_sitting'])

# 给每条记录标记是否是该学生的首次考试
df['is_first_exam'] = df['date_of_sitting'] == df.groupby('student_id')['date_of_sitting'].transform('min')

# 筛选首次考试且通过的学生，去重计数
first_pass_count = df[(df['is_first_exam'] == True) & (df['test_outcome'] == 'Pass')]['student_id'].nunique()

print(f"首次考试即通过的学生人数：{first_pass_count}")

这个方法不用额外关联，直接在原表上标记，内存和性能表现更好，适合超大数据集。

关键思路总结 #

不管用哪种工具，核心都是分组聚合找每个学生的最早考试记录，这种操作的时间复杂度是O(n)，而全量排序是O(n log n)，在大数据集上性能差距非常明显。如果遇到一个学生同一天有多次考试的特殊情况，你可以根据需求调整：比如只要当天有一次通过就算，或者取当天的第一个结果，只需要在筛选条件里加对应的逻辑就行。

内容的提问来源于stack exchange，提问作者Oday Salim