二元逻辑回归：是否需要对布尔型标签进行独热编码？

首先直接给结论：对于你的布尔型0/1标签，完全不需要做独热编码！ 你现在遇到的损失异常、梯度返回[None, None]的问题，恰恰是因为错误的独热编码操作和损失函数选择导致的。

为什么你的代码会出问题？ #

1. 独热编码的误用与损失函数不匹配 #

你的cross_entropy函数里存在两个核心错误：

• 选错了损失函数：tf.nn.softmax_cross_entropy_with_logits是给多分类任务设计的，它要求模型输出对应所有类别的logit；但二分类逻辑回归通常只输出单个神经元的logit（对应正类的概率对数），两者维度不匹配，直接导致损失计算逻辑混乱。
• 断开了计算图：调用y_true.numpy()会把TensorFlow张量转换成普通numpy数组，彻底切断了梯度追踪的链路，后续自然无法计算w和b的梯度，返回None。
• 维度不匹配：你把单个标签转成了[[0,1]]或[[1,0]]的二维数组，和模型输出的y_pred形状大概率不兼容，要么让损失异常为0，要么出现你示例里的超大损失值。

2. 梯度返回None的核心原因 #

梯度返回None几乎都是因为计算图被人为断开：你在损失函数里用了.numpy()把张量转成numpy数组，TensorFlow的GradientTape无法追踪这部分操作的梯度，最终导致无法计算参数的梯度。

正确的实现方式 #

方案一：二分类专用交叉熵（强烈推荐） #

对于二分类逻辑回归，直接用tf.nn.sigmoid_cross_entropy_with_logits，标签保持原始的0/1布尔值即可，完全不需要独热编码：

def cross_entropy(y_true, y_pred):
    # y_true：形状为(batch_size,)的0/1张量
    # y_pred：逻辑回归输出的单个logit，形状为(batch_size,)
    loss_row = tf.nn.sigmoid_cross_entropy_with_logits(labels=y_true, logits=y_pred)
    return tf.reduce_mean(loss_row)

方案二：多分类方式适配（不推荐，冗余操作） #

如果你非要用softmax_cross_entropy_with_logits，需要调整模型输出和标签处理，但这在二分类场景下属于没必要的冗余操作：

1. 把逻辑回归的输出层改成2个神经元（对应两个类别的logit）
2. 用TensorFlow原生的tf.one_hot处理标签，绝对不要转numpy：

def cross_entropy(y_true, y_pred):
    # y_true：形状为(batch_size,)的0/1张量
    # y_pred：形状为(batch_size, 2)的logit
    y_true = tf.one_hot(y_true, depth=2)  # 禁止使用.numpy()！
    loss_row = tf.nn.softmax_cross_entropy_with_logits(labels=y_true, logits=y_pred)
    return tf.reduce_mean(loss_row)

修复梯度计算 #

确保你的梯度函数里所有操作都在TensorFlow计算图内，并且w和b是tf.Variable类型（只有变量才能被梯度磁带追踪）：

def grad(x, y):
    with tf.GradientTape() as tape:
        y_pred = logistic_regression(x)
        loss_val = cross_entropy(y, y_pred)
    # 确认w、b是tf.Variable，而非普通张量
    return tape.gradient(loss_val, [w, b])

关键总结 #

• 二分类逻辑回归不需要对0/1标签做独热编码，多此一举反而会引发维度不匹配、梯度断裂等问题
• 优先使用二分类专用的sigmoid_cross_entropy_with_logits，而非多分类的softmax版本损失函数
• 绝对不要在梯度追踪的计算流程中使用.numpy()，否则会直接断开计算图，导致梯度无法计算

内容的提问来源于stack exchange，提问作者Relativity