如何基于两列值是否跨另一表任意StraddleValue过滤数据
数据过滤逻辑实现方案
核心判断规则
你需要保留的Table A行满足:不存在任意一个Table B中的StraddleValue落在当前行的(FirstValue, SecondValue)区间内,所有实现方案均直接读取Table B的动态值,不需要硬编码参考数值,可随Table B的更新自动适配。
按照你给出的示例数据校验:Table B参考值为190、830、300时,该逻辑输出的结果就是Index为1、3的两行,完全符合预期。
通用SQL实现(适配绝大多数关系型数据库)
写法1:NOT EXISTS子查询(可读性最优,推荐优先使用)
SELECT A.* FROM TableA A WHERE NOT EXISTS ( SELECT 1 FROM TableB B WHERE A.FirstValue < B.StraddleValue AND A.SecondValue > B.StraddleValue )
逻辑说明:逐行校验Table A的每个区间,只要存在任意一个Table B的参考值落在区间内,该行就会被过滤。
写法2:LEFT JOIN + 分组过滤(适配对EXISTS优化较差的数据库场景)
SELECT A.Index, A.FirstValue, A.SecondValue FROM TableA A LEFT JOIN TableB B ON A.FirstValue < B.StraddleValue AND A.SecondValue > B.StraddleValue GROUP BY A.Index, A.FirstValue, A.SecondValue HAVING COUNT(B.StraddleValue) = 0
逻辑说明:左连接匹配所有跨参考值的关联关系,最终仅保留没有匹配到任何关联关系的行,也就是没有跨任何参考值的区间。
Python Pandas 实现(非SQL场景)
写法1:自定义函数遍历(小数据量场景,可读性高)
import pandas as pd # 读取两张表数据为DataFrame,此处省略读入逻辑 df_a = pd.DataFrame(columns=["Index", "FirstValue", "SecondValue"]) df_b = pd.DataFrame(columns=["StraddleValue"]) straddle_list = df_b["StraddleValue"].tolist() # 自定义校验规则 def check_row(row): for s in straddle_list: if row["FirstValue"] < s < row["SecondValue"]: return False return True # 过滤得到结果 result_df = df_a[df_a.apply(check_row, axis=1)]
写法2:向量化运算(大数据量场景,性能更高)
import numpy as np straddle_arr = df_b["StraddleValue"].values # 生成校验掩码:所有参考值都不在区间内的行标记为True mask = np.all( (straddle_arr <= df_a["FirstValue"].values[:, None]) | (straddle_arr >= df_a["SecondValue"].values[:, None]), axis=1 ) result_df = df_a[mask]
内容的提问来源于stack exchange,提问作者Charles Del Lar
相关产品推荐
相关产品推荐

