如何避免拥有100万成员的product_id过滤器加载全量可选值

解决方案 #

完全可以实现过滤器不预加载全量成员，你可以按以下步骤调整配置：

• 替换过滤器类型：放弃默认全量加载的multi_select类型，改用异步搜索多选过滤器，该类型过滤器不会默认加载任何成员数据，仅当用户输入至少2_{3位搜索字符时，才向后端发起请求拉取匹配的`product_id`列表，单次请求返回上限可设置为20}50条，完全规避百万级数据预加载的性能问题。
• 调整数据源加载规则：原有数据源配置source = dimension/hierarchy/level product_id新增异步加载参数，设置load_mode = async_search，同时配置最小触发搜索的字符数、单次返回结果上限两个参数，关闭全量预加载开关。
• 新增手动输入支持：额外配置过滤器支持直接输入合法product_id后回车添加到选中列表，后端仅需对输入ID做合法性校验即可，无需依赖全量成员列表。
• 折线图逻辑适配：折线图取数接口直接接收过滤器选中的product_id列表作为过滤条件，按传入的ID列表返回对应每日价格数据即可，不需要关联过滤器的全量成员库。

目前主流的BI工具（包括自研BI平台）都原生支持上述异步搜索过滤器的配置，不需要修改底层数据模型，仅调整过滤器配置项即可满足需求。

内容的提问来源于stack exchange，提问作者heiko mf