如何在TensorFlow中正确实现线性回归？解决权重偏置为NaN问题

嘿，我之前做线性回归时也踩过NaN这个大坑，咱们一步步拆解问题来解决！

你的问题是训练后模型的权重和偏置变成NaN，这在TensorFlow的线性回归里大多是梯度爆炸或者数据预处理不到位导致的，结合你用的Kaggle随机数据集，我整理了几个最常见的排查方向：

1. 数据未做标准化/归一化，导致梯度爆炸 #

如果你的特征x数值范围极大（比如从0到1e6），而学习率设置得较高，模型更新参数时梯度会瞬间溢出，直接变成NaN。这是最常见的原因！

解决办法： #

对特征做标准化处理，把数值缩放到均值为0、方差为1的范围，或者归一化到[0,1]区间。用sklearn的StandardScaler就能轻松实现：

from sklearn.preprocessing import StandardScaler

# 提取特征和标签
X_train = train_data[['x']]
y_train = train_data['y']

# 标准化特征
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)

2. 学习率设置过高 #

即使数据处理好了，如果学习率太大，模型参数更新时一步跨度过大，也会导致数值溢出成NaN。比如用SGD优化器时，默认学习率0.1可能对大数值特征来说太猛了。

解决办法： #

• 调小学习率，比如从0.1降到0.01、0.001；
• 换成自适应学习率的优化器（比如Adam），它会自动调整学习率，更稳定：

# 替换原来的optimizer配置
model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
    loss='mean_squared_error'
)

3. 数据预处理不彻底，仍有隐藏的NaN或异常值 #

你提到了删除NaN行，但可能漏了检查标签y列的缺失值，或者数据里存在极端异常值（比如无穷大）。

解决办法： #

先彻底检查数据的完整性：

# 查看每列的缺失值数量
print(train_data.isna().sum())
print(test_data.isna().sum())

# 查看数据的统计分布，确认有没有极端值
print(train_data.describe())

如果发现y列还有NaN，记得一起删除；如果有极端值，可以考虑用中位数填充或者直接删除异常行。

4. 添加梯度裁剪防止溢出 #

如果以上方法还不行，可以在优化器里加入梯度裁剪，限制梯度的最大范数，避免爆炸：

optimizer = tf.keras.optimizers.SGD(learning_rate=0.01, clipnorm=1.0)
model.compile(optimizer=optimizer, loss='mean_squared_error')

结合以上步骤，给你一个能正常运行的代码参考：

import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.preprocessing import StandardScaler

# 加载数据集
train_data = pd.read_csv('train.csv')
test_data = pd.read_csv('test.csv')

# 删除所有包含NaN的行
train_data = train_data.dropna(axis=0, how='any')
test_data = test_data.dropna(axis=0, how='any')

# 提取特征与标签
X_train = train_data[['x']]
y_train = train_data['y']
X_test = test_data[['x']]
y_test = test_data['y']

# 标准化特征
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 定义单变量线性回归模型
model = tf.keras.Sequential([
    tf.keras.layers.Dense(1, input_shape=(1,))
])

# 编译模型，用Adam优化器
model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
    loss='mean_squared_error'
)

# 训练模型
history = model.fit(
    X_train_scaled, y_train,
    epochs=50,
    batch_size=32,
    validation_split=0.1,
    verbose=1
)

# 打印权重和偏置
print("训练后的权重:", model.layers[0].get_weights()[0])
print("训练后的偏置:", model.layers[0].get_weights()[1])

按照这个流程走，应该就能解决NaN的问题啦！

内容的提问来源于stack exchange，提问作者user7481779