基于BERT与TensorFlow2实现多标签文本分类的报错问题求解

触发ModuleNotFoundError: No module named 'tensorflow.contrib'的核心原因是你安装的bert-tensorflow是谷歌早期发布的仅适配TensorFlow 1.x版本的BERT实现，该版本大量依赖TF1.x专属的tf.contrib模块，而TensorFlow 2.0及以上版本已经完全移除了这个模块，直接导入必然报错。

以下两个方案都可以在保留现有TF2环境的前提下解决问题，按上手难度从低到高排列：

• 方案1：替换为官方适配TF2的BERT工具包
  先卸载不兼容的旧版本bert包，再安装谷歌官方维护的、原生适配TF2的BERT实现库，执行命令：

  pip uninstall -y bert-tensorflow
  pip install tf-models-official tensorflow-text
  

  这个库属于TensorFlow官方模型库的正式维护组件，内置了预训练权重加载、分词器、分类任务头等常用模块，不需要手动兼容旧版接口，也不需要自己实现BERT底层逻辑。注意旧教程里提到的run_classifier、optimization等脚本在新版库中已经做了Keras封装，不需要单独导入使用。
• 方案2：开启TF1兼容模式运行旧版代码
  如果必须参考旧教程的代码逻辑，不需要降级TF，只需要在所有导入代码的最开头添加TF1兼容配置即可：

  import tensorflow as tf
  # 开启TF1兼容模式
  tf.compat.v1.disable_v2_behavior()
  import tensorflow_hub as hub
  # 后续再导入bert相关模块
  import bert
  from bert import run_classifier
  from bert import optimization
  from bert import tokenization
  from bert import modeling
  

  该方案的缺点是只能使用TF1的静态图逻辑编写代码，调试成本较高，不推荐初学者使用。

针对社交媒体帖文多标签分类场景，你可以直接使用TF2的Keras高阶接口搭建流水线，不需要啃复杂的底层源码，核心流程如下：

• 数据预处理：单条帖文对应多个标签的场景，直接将标签转换为multi-hot编码向量即可。例如总共有N个分类，某条帖文同时属于“药物”“身心健康”两个类别，对应的标签向量就是这两个类别位置为1、其余位置为0的长度为N的向量，不需要使用单标签分类的softmax映射逻辑。
• 模型搭建：整体结构只需要三层，核心逻辑参考如下：

  import tensorflow as tf
  # 直接加载官方适配Keras的对应语种预训练BERT预处理层、编码器层即可，不需要手动下载权重、实现分词逻辑
  # 预处理层负责完成文本转token、padding、生成mask等操作
  # 编码器层设置trainable=True开启微调，输出BERT的语义表征结果
  preprocessor = 加载对应语种预训练BERT的预处理层
  encoder = 加载对应语种预训练BERT的编码器层
  
  def build_multi_label_classifier(num_classes):
      input_text = tf.keras.layers.Input(shape=(), dtype=tf.string, name='text')
      processed_input = preprocessor(input_text)
      bert_output = encoder(processed_input)
      # 取BERT输出的<[BOS_never_used_51bce0c785ca2f68081bfa7d91973934]>位表征作为整段文本的语义向量
      cls_output = bert_output['pooled_output']
      # 多标签分类最后一层用*sigmoid激活函数*，独立输出每个类别的概率
      output = tf.keras.layers.Dense(num_classes, activation='sigmoid', name='classifier')(cls_output)
      model = tf.keras.Model(inputs=[input_text], outputs=output)
      # 损失函数使用*二元交叉熵损失*，适配多标签独立预测的场景
      model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=2e-5),
                    loss=tf.keras.losses.BinaryCrossentropy(),
                    metrics=[tf.keras.metrics.BinaryAccuracy(), tf.keras.metrics.Precision(), tf.keras.metrics.Recall()])
      return model
  

• 训练与预测：将整理好的（帖文文本，multi-hot标签）数据对直接传入model.fit()即可启动训练。预测时设置合理的概率阈值（初始可设为0.5，后续根据业务效果调整），输出概率大于阈值的标签即为单条帖文对应的分类结果。
  整个实现全程使用Keras高阶接口，没有复杂的自定义逻辑，初学者只需要调整分类数量、学习率、概率阈值几个参数就能跑出可用效果，不需要提前掌握Transformer、注意力机制等BERT底层细节。

内容的提问来源于stack exchange，提问作者AllyZ