使用Integrated Gradients解释Tensorflow BERT分类器时出现None转Tensor错误

你遇到的Attempt to convert a value (None) with an unsupported type (<class 'NoneType'>) to a Tensor报错，在TensorFlow+BERT+Integrated Gradients的场景下，通常由梯度计算链路中出现空值导致，可按以下优先级排查：

• 检查梯度计算的目标输出是否正确
  不要用经过softmax的概率值计算梯度，softmax会导致梯度过小甚至消失返回空值。请直接使用模型最后一层输出的分类logits作为梯度计算的目标，加载BERT模型时也请指定仅返回logits，不需要额外输出隐藏层、注意力权重等无关结果。
• 检查输入张量是否被梯度带追踪
  TensorFlow的tf.GradientTape默认仅追踪可训练变量，输入的input_ids、attention_mask默认不会被追踪，需要显式调用tape.watch()方法监听输入张量，否则计算出的梯度会为None。参考正确实现片段：

  def calc_integrated_grads(input_ids, attn_mask, target_class, steps=50):
      baseline = tf.zeros_like(input_ids)
      alphas = tf.linspace(0.0, 1.0, steps+1)
      grad_list = []
      for a in alphas:
          # 生成插值输入
          interp_ids = baseline + a * (tf.cast(input_ids, tf.float32) - baseline)
          interp_ids = tf.cast(interp_ids, tf.int32)
          with tf.GradientTape() as tape:
              # 显式监听输入
              tape.watch(interp_ids)
              # 取模型logits输出
              logits = model([interp_ids, attn_mask], training=False)[0]
              target = logits[target_class]
          grad = tape.gradient(target, interp_ids)
          grad_list.append(grad)
      # 计算积分梯度
      avg_grad = tf.reduce_mean(tf.stack(grad_list), axis=0)
      integrated_grad = (tf.cast(input_ids, tf.float32) - baseline) * avg_grad
      return integrated_grad
  

• 检查模型输入与前向逻辑合法性
  确认调用模型时同时传入了input_ids和attention_mask两个必填参数，少传参数会导致模型输出为空。如果自定义了BERT前向逻辑，也请检查是否存在条件分支导致部分场景下返回None的情况。
• 检查输入张量的维度定义
  如果输入张量存在未指定的动态轴（比如batch size、序列长度维度设为None），梯度计算时可能出现维度不明确的问题返回空值，调试时可以显式固定输入张量的shape，比如input_ids = tf.constant(test_seq, shape=(1, 128))。

你可以先单独调用模型传入测试输入，确认输出为合法张量后再调试梯度计算部分，逐行打印梯度值即可快速定位返回None的具体节点。

内容的提问来源于stack exchange，提问作者user6694665