You need to enable JavaScript to run this app.
最新活动
大模型
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

关于Foundation Models Framework上下文限制的技术问询

关于Foundation Models Framework上下文限制的技术问询

嘿,刚好对苹果这个框架有研究,来给你说清楚——首先得先提个小纠正:截至2024年中,苹果官方正式发布的iOS版本还没到26呢(当前最高是iOS17),不过我可以结合已公开的Foundation Models Framework文档、测试版信息,以及行业通用的迭代逻辑来给你解答:

  • 针对**当前正式版(iOS17/iPadOS17及后续小版本)**的Foundation Models Framework:
    • 设备端本地推理的基础对话模型,对话上下文(含历史消息+当前提问+系统提示词)的总token限制为4096个
    • 如果是调用云端的Apple Intelligence协作模型,当前公开的最大上下文窗口为16384个token,这个数值可能会随苹果的服务更新动态调整。
  • 假设你提到的iOS26是指未来的迭代版本,结合苹果近年来对模型能力的升级节奏,大概率会进一步提升上下文限制(比如参考行业主流的32k、64k token量级),但具体的精确数值必须以苹果官方发布的正式文档、API说明为准,毕竟每一代模型的优化方向不同。
  • 如果你需要在开发中动态获取当前设备/模型的实际上下文限制,可以用这段Swift代码来直接查询,比硬记固定数值更可靠(毕竟不同内存规格的设备可能对本地模型的上下文有微调):
import Foundation
import CoreML

func checkContextWindowLimit() {
    do {
        // 加载默认的对话类基础模型
        let model = try MLFoundationModel(for: .chat)
        let maxContextTokens = model.configuration.maxContextWindowSize
        print("当前模型支持的最大上下文窗口(token数):\(maxContextTokens)")
    } catch {
        print("加载模型失败:\(error.localizedDescription)")
    }
}

// 调用查询函数
checkContextWindowLimit()
  • 最后再补个关键提醒:苹果的上下文限制是所有对话元素的总token数,不是单条消息的上限,所以在构建对话流的时候,要注意累计token的消耗,避免超出后触发模型的自动截断或者推理报错。

内容来源于stack exchange

火山引擎 最新活动