sentence transformer摘要任务最大输入token长度是多少？为何能处理超512token文本？

• 绝大多数BERT架构模型的官方标注最大输入长度为512 tokens，超出部分通常会被截断，不参与后续NLP任务计算。
• 开展文本摘要任务时，搭配使用sentence transformer系列的multi-qa-distilbert-cos-v1模型与bert-extractive-summarizer工具，成功处理了一份长度为792 tokens的文本，生成的摘要还包含原文本最后一行的内容。
• 查阅multi-qa-distilbert-cos-v1官方文档，其明确标注最大序列长度为512 tokens，和实际运行表现存在矛盾。

核心疑问：

1. 使用sentence transformer模型执行摘要任务时，实际支持的最大文本token长度为多少？
2. 为什么本次使用的模型能够读取超过512 tokens的文本？

sentence transformer的最大输入长度规则 #

sentence transformer是通用的句向量模型封装框架，不存在统一的全局输入长度上限，实际支持的长度完全由加载的底层基模型决定：

• 你使用的multi-qa-distilbert-cos-v1底层为DistilBERT架构，自带的可学习位置编码最大窗口就是512 tokens，单段文本直接输入模型时，超出512 tokens的部分会被默认截断，不会参与编码计算，官方文档标注的512 tokens上限是准确的。
• 少数基于Longformer、BigBird等长文本优化架构训练的sentence transformer变体，支持的输入长度可以达到4096 tokens甚至更高，但这类模型都会在发布说明里明确标注长文本适配特性，你使用的multi-qa-distilbert-cos-v1不属于这类变体。

长文本被正常处理的核心原因 #

能处理792 tokens的文本、且摘要覆盖原文最后一行内容，和sentence transformer本身的长文本支持能力无关，是搭配使用的bert-extractive-summarizer内置了分片处理逻辑：

• 这类抽取式摘要工具不会把整段长文本一次性传入模型。运行时它会先把输入文本按句子切分，再按照不超过模型最大窗口（默认读取模型配置的512 tokens值）的规则，把相邻句子打包成多个独立的短文本分片，每个分片单独送入sentence transformer计算句向量、完成关键句筛选。
• 所有分片处理完成后，工具会把各分片选出的关键句按照原文出现的顺序拼接，输出最终摘要。你看到摘要包含原文本最后一行，是因为最后一行内容属于末尾的某个分片，被单独送入模型计算后被选为关键句，并不是模型原生读取到了512 tokens位置之外的内容。
• 可以自行验证这个逻辑：跳过摘要工具，直接调用multi-qa-distilbert-cos-v1.encode()接口传入792 tokens的纯文本，查看tokenizer的输出参数就能发现，实际参与编码的只有前512 tokens，超出部分确实被截断了。

内容的提问来源于stack exchange，提问作者pheonix4821