Redshift中Query ID的唯一性及关联使用方案咨询

Awesome questions about Redshift Query IDs—let's break each one down clearly:

1. Redshift中的Query ID是否具备唯一性？ #

• 简单说：在单个Redshift集群的活跃运行周期内是唯一的。
• 详细解释：Query ID是由集群主节点维护的64位整数计数器。只要集群没有被重启、启停或者从快照恢复，任意两个查询的ID都不会重复。但如果集群经历了重置操作（比如重启、快照恢复、重新创建），这个计数器会重置为1，所以在不同的集群运行周期里，可能会出现相同的Query ID。

2. Query ID是按序列持续递增，还是会在达到一定迭代次数后从1重新开始？ #

• Query ID在集群的活跃运行周期内是持续递增的64位整数。不像PID那样会达到上限后循环，64位的数值范围极大，在单个集群运行周期内几乎不可能耗尽。
• 但要注意：当集群被重启、从快照恢复或者重新创建时，Query ID计数器会重置回1。所以在这些操作之后，你会看到Query ID从1重新开始计数，而不是一直递增下去。

3. 若将Query ID持久化到自定义日志表中，能否直接用于关联操作？或是采用组合字段更为稳妥？ #

• 如果只是在同一个集群运行周期内关联数据，单独用Query ID是没问题的。但如果是长期持久化日志（可能包含多个集群重启/快照恢复周期的数据），单独用Query ID就不安全了——不同运行周期的查询可能会有相同的ID，导致关联错误。
• 更稳妥的方式是组合多个字段来生成全局唯一的查询标识，推荐的组合是：
  • query_id + xid（事务ID，在集群运行周期内也是递增唯一的） + pid（进程ID） + 时间戳（查询执行时间）
  • 或者你也可以把集群的启动时间（或快照恢复时间）和Query ID一起存储，这样也能区分不同运行周期的重复Query ID。

内容的提问来源于stack exchange，提问作者Yauheni Khvainitski