TF BERT的bert_pack_inputs传入超2个输入报错解决方案咨询

错误原因 #

官方发布的BERT预处理器SavedModel为了优化部署效率，仅提前编译了1个输入、2个输入对应的函数签名，没有适配≥3个句子的输入场景，因此传入3个及以上token化后的句子时会出现签名匹配失败的报错。

推荐实现方案 #

你可以根据使用场景选择以下两种方案：

方案1：手动拼接句子适配现有接口

BERT的标准输入格式本身支持多个句子，仅需要在句子之间插入[SEP]分隔符即可。你可以先将多个句子按需求分组拼接为1个或2个逻辑输入段，再调用预处理器自带的bert_pack_inputs接口。
以3个句子为例，示例代码如下：

import tensorflow as tf

# 先将前两个句子手动拼接为第一个输入段，插入[SEP]分隔符
merged_tok = tf.concat([tok[0], tf.constant([102]), tok[1]], axis=0)  # 102为[SEP]对应的token id，可根据你的词汇表调整
# 调用双输入接口打包
text_preprocessed = bert_preprocess.bert_pack_inputs([merged_tok, tok[2]], tf.constant(20))

方案2：调用TensorFlow Text原生接口实现多句子打包

如果需要灵活支持任意数量的输入句子，直接使用tensorflow_text库提供的原生bert_pack_inputs接口即可，该接口没有输入数量限制：

import tensorflow_text as tf_text

# 原生接口支持传入任意长度的token列表
text_preprocessed = tf_text.bert_pack_inputs([tok, tok, tok], tf.constant(20))

该接口输出的格式和预处理器自带接口完全一致，可直接输入到BERT模型中使用。

内容的提问来源于stack exchange，提问作者D__