Domo对接Snowflake时卡片明细视图分页加载重复/缺失问题如何解决

问题说明 #

我们在Snowflake数据库上层部署运行DOMO时，遇到卡片明细视图分页异常问题：

1. 明细视图默认分页大小为50行，首次加载和每次滚动加载下一页时，DOMO都会执行完全相同的查询语句：

SELECT <columns>
FROM <the table>
LIMIT 50 OFFSET 50

2. 由于Snowflake默认未指定ORDER BY的查询结果顺序不固定，每次执行上述查询返回的都是随机50行数据，最终视图出现数据重复、行缺失的问题。
3. 目前SHARE/EXCEL导出功能正常，原因是导出逻辑设置了很高的LIMIT阈值，不需要分页查询。

可行解决方法 #

• 给查询添加固定排序规则：在DOMO数据集的查询配置中，显式添加ORDER BY子句，指定按唯一主键、创建时间等稳定不重复的字段排序，保证每次分页查询的结果顺序一致，OFFSET取值可以准确命中对应行。
• 调高DOMO在线视图的分页阈值：参考导出逻辑的配置，将明细视图的单次加载行数调整为适配数据集规模的较大值，减少分页次数甚至直接全量加载视图数据，规避分页逻辑的缺陷。
• 切换为DOMO物化数据集模式：如果当前使用的是直连Snowflake的查询模式，可以将数据集改为提前同步到DOMO内置存储的物化模式，明细视图从DOMO本地存储读取分页数据，完全规避Snowflake侧无排序分页的随机问题。
• 使用键集分页替代OFFSET分页：如果有权限自定义DOMO的分页逻辑，可以将OFFSET分页改为键集分页，每次加载下一页时用上一页返回的最后一条数据的排序键作为过滤条件，相比OFFSET分页性能更稳定，也不会出现数据重复丢失的问题。

内容的提问来源于stack exchange，提问作者George Lamberthill