如何移除source列前x个、后y个不同值对应的所有数据行？

这里提供两种常用的实现方式，分别适用于Python数据处理和SQL数据库场景：

一、Python Pandas 实现 #

适合处理本地数据集的场景，步骤简洁高效：

1. 构造或读取目标数据集
2. 提取source列的唯一值（按首次出现顺序，匹配原表val排序后的出现逻辑）
3. 确定需要排除的source值（前x个 + 后y个）
4. 筛选保留不在排除列表中的行

示例代码：

import pandas as pd

# 示例数据（可替换为你的数据集读取逻辑，比如pd.read_csv）
data = {
    'val': [1,2,3,3,4,5,7,7,9],
    'source': [1,3,1,2,4,3,4,5,5]
}
df = pd.DataFrame(data)

# 配置参数
x = 1
y = 2

# 获取source的唯一值（按首次出现顺序）
unique_sources = df['source'].unique().tolist()

# 生成需要排除的source列表
exclude_list = unique_sources[:x] + unique_sources[-y:]

# 筛选结果
result = df[~df['source'].isin(exclude_list)]

print(result)

运行后即可得到目标结果，大数据集场景下也能保持高效。

二、SQL 实现 #

适合直接在数据库中处理数据的场景，利用窗口函数确定source的出现顺序：

WITH source_rank AS (
    -- 给每个source按首次出现的顺序排名（按val最小值排序，对应原表val的排序逻辑）
    SELECT DISTINCT source,
           ROW_NUMBER() OVER (ORDER BY MIN(val)) AS rank_num
    FROM your_table
    GROUP BY source
),
exclude_sources AS (
    -- 筛选出要排除的前x个和后y个source
    SELECT source
    FROM source_rank
    WHERE rank_num <= 1  -- x=1
       OR rank_num > (SELECT COUNT(*) FROM source_rank) - 2  -- y=2
)
-- 最终筛选结果
SELECT val, source
FROM your_table
WHERE source NOT IN (SELECT source FROM exclude_sources)
ORDER BY val;

注意事项 #

• 如果source列的唯一值总数小于x+y，执行后会返回空表，可根据需求添加边界判断逻辑
• 两种方法的核心逻辑一致：按source在排序后的表中首次出现的顺序，排除前x和后y个唯一值对应的所有行

内容的提问来源于stack exchange，提问作者Jeppe