Spark SQL中如何关联重叠日期表并排除端点重合记录

注：仅端点日期重合的情况不算重叠

表结构与数据 #

Table A #

Table B #

需求 #

筛选Table B中与Table A存在实际日期重叠的行（仅端点重合不算），期望结果如下：

当前SQL的问题 #

原SQL使用包含端点的重叠判断逻辑，导致把仅端点重合的行也筛选出来：

SELECT DISTINCT b.*
FROM tableB b
INNER JOIN tableA a
  ON ((b.start_date <= a.end_date) AND (b.end_date >= a.start_date))

返回结果包含了不需要的记录：

正确的Spark SQL解决方案 #

修改连接条件，将包含端点的判断改为严格小于/大于，排除仅端点重合的情况：

SELECT DISTINCT b.*
FROM tableB b
INNER JOIN tableA a
  ON (b.start_date < a.end_date AND b.end_date > a.start_date)

验证结果 #

执行上述SQL后，将得到预期结果：

内容的提问来源于stack exchange，提问作者nathaneastwood