为何ClickHouse无法基于主键快速合并两个已排序大表？

核心前提：归并连接需要全局有序的连接键 #

ClickHouse的merge归并连接算法要求两张表在连接键上全局有序，而非仅分区内有序。你的两张表虽将连接键设为ORDER BY字段，但如果表存在多分区（未显式指定PARTITION BY时默认是单分区），需确保数据全局有序才能触发高效的双指针遍历归并。

步骤1：修正查询中的字段笔误 #

你的transactions表结构仅包含from_address，但JOIN条件中写了tx.to_address，这会导致字段不存在错误，需修正为tx.from_address。

步骤2：强制使用归并连接算法并确保数据全局有序 #

方案A：基于现有表直接使用归并连接（单分区场景） #

若你的两张表均为单分区（未设置PARTITION BY），则ORDER BY已保证全局有序，直接指定join_algorithm = 'merge'即可触发高效归并：

CREATE TABLE transactions_tmp
ENGINE = MergeTree
PRIMARY KEY id
AS SELECT
    t.id AS to_id,
    tx.date,
    tx.id
FROM transactions AS tx
INNER JOIN addresses_tmp AS t ON t.address = tx.from_address
SETTINGS 
    join_algorithm = 'merge',
    merge_join_max_rows_in_memory = 100000000 -- 可根据内存情况调整，溢出时自动落盘

方案B：生成全局有序临时表（多分区场景） #

若表存在多分区，需先生成全局有序的临时表，再执行归并连接：

1. 生成全局有序的交易表：

CREATE TABLE transactions_sorted
ENGINE = MergeTree
PRIMARY KEY from_address
ORDER BY from_address
AS SELECT * FROM transactions ORDER BY from_address

2. 生成全局有序的地址表：

CREATE TABLE addresses_sorted
ENGINE = MergeTree
PRIMARY KEY address
ORDER BY address
AS SELECT * FROM addresses_tmp ORDER BY address

3. 使用临时表执行归并连接：

CREATE TABLE transactions_tmp
ENGINE = MergeTree
PRIMARY KEY id
AS SELECT
    t.id AS to_id,
    tx.date,
    tx.id
FROM transactions_sorted AS tx
INNER JOIN addresses_sorted AS t ON t.address = tx.from_address
SETTINGS join_algorithm = 'merge'

关键参数说明 #

• join_algorithm = 'merge'：显式指定使用归并连接，而非哈希连接或部分归并。
• merge_join_max_rows_in_memory：控制归并时内存中处理的最大行数，超过阈值则将数据溢出到磁盘，避免内存超限。
• 确保连接条件为等值连接（=），归并连接仅支持等值匹配。

内容的提问来源于stack exchange，提问作者Stepan Yakovenko