如何逆向tokenizer.apply_chat_template()及提取Hugging Face流式纯净回复

标题 #

用#标记层级，数量越多层级越低：

• 一级标题 #

• 二级标题 #

• 三级标题 #

列表项 #

所有列表项以-开头：

• 第一个列表项
• 第二个列表项

文本强调 #

用*包裹实现强调效果：

• 斜体：需要强调的文本（对应语法*需要强调的文本*）
• 粗体：重点强调的文本（对应语法**重点强调的文本**）

代码/命令 #

用反引号`包裹：

• 行内代码：pip install transformers
• 多行代码块：用三个反引号包裹，可指定代码语言

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("google/gemma-2b-it")

引用文本 #

每行以>开头：

这是一段引用内容
可以换行继续引用

链接 #

格式为[显示文本](目标URL)：
Markdown官方文档

图片 #

格式为[图片描述](图片URL)：
示例图片

内容的提问来源于stack exchange，提问作者A.A