Apache Ignite同表部分键值JOIN失效问题咨询

可能原因 #

• 数据共置（Co-location）缺失：Ignite分布式JOIN依赖相同分区键下的数据共置。如果TABLE1和TABLE2的分区键不是SMID，相同SMID的记录会被分配到不同节点，跨节点关联时可能出现匹配异常。
• 数据类型/值不匹配：虽然SMID看起来是相同字符串，但实际可能存在类型差异（如VARCHAR vs CHAR）、值长度不一致（如带尾空格），导致字符串比较不相等。
• 索引问题：SMID字段无索引或索引失效，导致JOIN时无法正确检索到匹配记录。
• 分布式查询一致性问题：集群节点数据未完全同步，或查询使用的隔离级别（默认READ_COMMITTED）导致不同节点的快照不一致，无法返回完整结果。

解决方法 #

1. 检查并修复数据共置 #

首先确认两张表的分区键：

SELECT TABLE_NAME, KEY_COLUMNS 
FROM INFORMATION_SCHEMA.TABLES 
WHERE TABLE_SCHEMA='PUBLIC' AND TABLE_NAME IN ('TABLE1', 'TABLE2');

如果分区键不是SMID，需重新创建表并指定分区键（注意：现有数据需重新导入）：

-- 重新创建TABLE1，以SMID为分区键
CREATE TABLE TABLE1 (
    SMID VARCHAR(32) PRIMARY KEY,
    -- 其他字段定义
) WITH (PARTITION_BY = 'SMID', CACHE_NAME = 'table1_cache');

-- 重新创建TABLE2，以SMID为分区键
CREATE TABLE TABLE2 (
    SMID VARCHAR(32) PRIMARY KEY,
    -- 其他字段定义
) WITH (PARTITION_BY = 'SMID', CACHE_NAME = 'table2_cache');

2. 验证数据类型与值的一致性 #

检查字段类型和实际存储值的细节：

-- 查看SMID字段的数据类型
SELECT COLUMN_NAME, DATA_TYPE 
FROM INFORMATION_SCHEMA.COLUMNS 
WHERE TABLE_SCHEMA='PUBLIC' AND TABLE_NAME IN ('TABLE1', 'TABLE2') AND COLUMN_NAME='SMID';

-- 检查值的长度与实际内容
SELECT SMID, LENGTH(SMID) FROM TABLE1 WHERE SMID IN ('1b024b28', '36bd1084');
SELECT SMID, LENGTH(SMID) FROM TABLE2 WHERE SMID IN ('1b024b28', '36bd1084');

如果发现值存在差异（如尾空格），需清洗数据确保完全匹配。

3. 确保索引有效 #

如果SMID不是主键，需创建索引：

CREATE INDEX IDX_TABLE2_SMID ON TABLE2(SMID);

若索引可能失效，执行重建操作（Ignite 2.9+支持）：

ALTER INDEX IDX_TABLE2_SMID REBUILD;

4. 调整查询隔离级别 #

使用更高的隔离级别保证一致性：

SET TRANSACTION ISOLATION LEVEL REPEATABLE_READ;
SELECT t1.*, t2.* 
FROM TABLE1 t1 
LEFT JOIN TABLE2 t2 ON t1.SMID = t2.SMID 
WHERE t1.SMID IN ('1b024b28', '36bd1084');

同时检查集群所有节点状态，确保无离线节点且数据同步完成。

内容的提问来源于stack exchange，提问作者SwiftHanded