Vertex AI能否留存函数调用结果？重复调用成本优化咨询

无需每次重复传入数据 #

完全不需要每次都向Vertex AI重复传递相同函数调用的查询结果，你可以通过应用层的逻辑优化来避免冗余的查询和数据传输。

最优处理方式 #

应用侧缓存查询结果 #

• 在Flutter客户端或后端服务中，针对相同函数名+参数组合的查询结果做缓存。比如用Map存储临时缓存，或者用hive、shared_preferences做持久化缓存；后端可选用Redis这类专业缓存工具。缓存的键可以用函数名+参数的哈希值来生成，确保唯一性。
• 每次触发函数调用前先检查缓存：如果存在对应结果，直接复用；不存在则执行数据库查询，再将结果存入缓存并传给Vertex AI。

优化函数调用触发逻辑 #

• 不要完全依赖模型自主判断是否调用函数，在应用层增加前置判断：当用户的问题可以基于已缓存的结果回答时，直接跳过函数调用，把缓存结果（或结果摘要）作为上下文传给模型即可。
• 举个例子：用户第一次问“近一周的用户反馈列表”，执行函数查询并缓存结果；第二次问“这些反馈里关于支付的有多少条”，直接把缓存的反馈数据发给模型分析，无需再次调用查询函数。

给模型传递缓存标识（进阶） #

如果需要让模型明确知道已有缓存结果，可以在对话上下文中加入类似[已缓存函数调用：get_user_feedback(参数：{"time_range":"近一周"})]的标记，同时传递缓存结果的摘要（而非全量数千条数据），既减少token消耗，又能引导模型基于已有结果处理问题，避免触发重复调用。

系统指令的局限性 #

仅靠系统指令（比如“对话中勿重复调用同一函数，留存上次调用结果”）无法彻底解决问题：

• 大语言模型的指令遵循度并非100%，多轮对话上下文较长时，模型很可能遗忘之前的函数调用记录，依然触发重复调用。
• 模型无法直接访问你的应用缓存，只能依赖你传入的上下文信息，所以单纯靠指令无法从根源上避免冗余查询和数据传输。

函数调用的调整建议 #

不需要修改函数本身的业务逻辑，但可以调整调用触发机制：

• 在函数调用的前置流程中加入缓存校验逻辑，先查缓存再决定是否执行数据库查询；
• 可以给函数新增use_cache参数，默认设为true，当需要强制刷新数据时再传入false，实现灵活的缓存控制。

内容的提问来源于stack exchange，提问作者Philip Johnson