Azure Data Explorer中Join操作的一致性与隔离性及ACID保障问询

场景描述 #

无法找到Azure Data Explorer关于ACID保障范围及适用场景的相关文档，现存在如下操作场景：

查询语句 #

PackageVersions
| where LowerId = "newtonsoft.json"
| join kind=inner PackageDownloads on Identity

同时执行的表交换操作 #

.rename tables
    PackageVersions_OLD = PackageVersions,
    PackageVersions = PackageVersions_NEW,
    PackageDownloads_OLD = PackageDownloads,
    PackageDownloads = PackageDownloads_NEW

疑问点 #

• 该读查询是否能以隔离方式执行，确保表交换操作逻辑上仅发生在查询执行之前或之后？
• 是否可能出现查询读取到中间状态的情况，比如PackageVersions表缺失，或同时读取到旧的PackageDownloads数据与新的PackageVersions数据？
• 若同一Azure Data Explorer数据库内的读写操作具备原子性，该保障是否能延伸至同一集群内的多数据库查询，甚至跨集群查询？

解答 #

1. 读查询的隔离性 #

Azure Data Explorer的.rename tables操作是原子性元数据操作，所有指定的表名称交换会在一个不可分割的步骤中完成。正在执行的读查询会绑定到查询启动时的数据库元数据快照，因此表交换操作要么完全发生在查询执行前（查询读旧表），要么完全发生在查询执行后（查询读新表），不会出现操作中途干扰查询的情况。

2. 中间状态的可能性 #

不会出现读取到中间状态的情况：

• 表交换的元数据变更要么全部生效，要么全部不生效，不存在单张表缺失的状态。
• 读查询在启动时就确定了要读取的表版本，不会混合读取旧PackageDownloads与新PackageVersions的数据，二者始终保持一致（要么全旧，要么全新）。

3. ACID保障的范围 #

• 同一数据库内：元数据操作（如重命名/交换表）与查询的隔离性、原子性完全生效，读写操作的一致性得到保障。
• 同一集群多数据库查询：查询会分别绑定到每个数据库启动时的元数据快照，各数据库的元数据变更相互独立，但跨库查询不提供跨多个数据库的全局原子性快照保障。
• 跨集群查询：不具备全局原子性或隔离性保障，每个集群的元数据状态独立，查询仅绑定到各集群自身启动时的快照，集群间操作无同步原子性保证。

内容的提问来源于stack exchange，提问作者Joel Verhagen