如何合并两个海量数据源为单列表并支持分页？能否无需全量查询？

可以实现，核心思路是利用归并排序的思想，前提是两个数据源都支持按统一的排序规则（比如实体ID、更新时间戳）进行分页查询。具体实现步骤如下：

• 确定统一排序键：为实体元素定义一个全局唯一的排序键（比如自增ID、时间戳+ID组合），确保两个数据源都能按这个键执行升序/降序的范围分页查询。
• 双数据源候选查询：假设要获取第N页（页大小为pageSize），先根据前一页的最后一个排序键估算目标页的键范围，然后从两个数据源各自查询该范围内的候选数据（无需全量，通常取pageSize的1.5-2倍，避免漏数据）。
• 内存归并去重：将两个数据源返回的候选数据放入内存，按排序键排序后去重（如果存在同一实体出现在两个数据源的情况）。
• 截取目标页数据：从归并后的有序列表中，截取对应页码的pageSize条数据即可。

伪代码示例 #

def get_merged_page(page_num, page_size, sort_key):
    # 根据前一页的末尾键计算当前页的大致范围（首次查询可设为最小/最大值）
    start_key, end_key = get_page_boundaries(page_num, page_size, sort_key)
    
    # 从两个数据源拉取候选数据，限制数量避免内存过载
    data_source1 = query_source_by_range(source1, sort_key, start_key, end_key, limit=page_size*2)
    data_source2 = query_source_by_range(source2, sort_key, start_key, end_key, limit=page_size*2)
    
    # 合并、排序、去重
    merged_data = sorted(list(set(data_source1 + data_source2)), key=lambda x: x[sort_key])
    
    # 计算分页索引并返回结果
    start_idx = (page_num - 1) * page_size
    end_idx = start_idx + page_size
    return merged_data[start_idx:end_idx] if start_idx < len(merged_data) else []

关键注意事项 #

• 排序规则必须全局统一：两个数据源的排序逻辑要完全一致，否则归并后的列表顺序会出错。
• 候选数据范围要合理：如果只取刚好pageSize的数量，可能会因为数据在两个数据源的分布不均导致目标页数据不全，适当放大查询范围是必要的。
• 去重逻辑要精准：如果同一实体可能存在于两个数据源，必须根据实体唯一标识（比如ID）做去重，避免重复展示。

内容的提问来源于stack exchange，提问作者keinabel