使用ADX hash()做负载均衡的算法变更风险及解决方案咨询

• 替换通用hash()函数为固定算法的哈希函数
  ADX提供了绑定特定算法的哈希函数实现，例如hash_xxhash64()，这类函数的算法逻辑永久固定，不会随平台版本迭代发生变更，可完全规避通用hash()函数未来算法切换的风险。你只需将原逻辑中的hash(somecolumn,4)直接替换为hash_xxhash64(somecolumn,4)即可，不需要修改其他分片逻辑。
• 合并分片查询为单次批量操作
  如果业务场景允许，可将四条分片逻辑合并到同一条查询中执行，同一条查询内的所有hash()调用必然使用相同的算法实现，哪怕提交查询瞬间正好遇上平台算法切换，也不会出现部分用旧算法、部分用新算法的不一致问题。修改后的示例逻辑如下：

  .append async MyTable <| Query | extend shard = hash(somecolumn,4) | where shard in (0,1,2,3)
  

• 增加分片一致性校验逻辑
  如果你暂时无法替换哈希函数，可在所有分片查询执行完成后增加一致性校验步骤：先统计原查询全量数据的行数，再统计四个分片写入的总数据行数，两者一致则说明分片过程没有出现算法切换导致的漏取或重复问题，如果行数不一致直接触发任务重试即可。

内容的提问来源于stack exchange，提问作者Dhiraj