如何在调用BERT函数前的预处理步骤中设置最大长度？

你当前的代码直接调用preprocess(sentences)会使用预处理模型的默认最大长度，要自定义这个参数，需要把预处理流程拆分为分词和打包两个步骤，具体实现如下：

步骤1：加载模型并拆分预处理组件 #

import tensorflow as tf
import tensorflow_hub as hub

BERT_MODEL = "https://tfhub.dev/google/experts/bert/wiki_books/2"
PREPROCESS_MODEL = "https://tfhub.dev/tensorflow/bert_en_uncased_preprocess/3"

# 加载完整的预处理模型
preprocess_model = hub.load(PREPROCESS_MODEL)
# 分别获取分词器和BERT输入打包器
tokenizer = preprocess_model.tokenize
packer = preprocess_model.bert_pack_inputs

步骤2：自定义最大长度并处理文本 #

# 设置你需要的最大序列长度（注意不能超过BERT模型支持的上限，比如基础BERT为512）
max_length = 128

# 对输入句子进行分词
tokenized_sentences = tokenizer(sentences)
# 打包分词结果，通过seq_length参数指定最大长度
processed_inputs = packer([tokenized_sentences], seq_length=max_length)

步骤3：获取BERT嵌入 #

bert_model = hub.load(BERT_MODEL)
outputs = bert_model(processed_inputs)

# 根据需求获取对应嵌入：
# pooled_output是句子级的CLS嵌入，适合文本整体表征
cls_embedding = outputs["pooled_output"]
# sequence_output是每个token的嵌入，适合需要 token 级特征的场景
token_embeddings = outputs["sequence_output"]

注意事项 #

• 自定义的max_length不能超过所用BERT模型的最大序列长度（比如你用的wiki_books BERT基础版上限是512），否则会触发报错。
• 文本到图像生成场景中，短描述通常用64~128的长度即可，过长的序列会增加计算量，且对生成效果提升有限。

内容的提问来源于stack exchange，提问作者tearis