keras_tuner RandomSearch效果不佳的原因咨询（TensorFlow示例）

• 数据分布适配性问题：relu激活函数在输入为负值时输出为0，会直接导致对应神经元失活。如果你的人工生成数据的特征或目标值偏向负区间，relu会丢失大量有效特征信息，而tanh的输出范围是[-1,1]，更适配这类数据分布，因此选择relu会大幅降低拟合效果。
• 超参数搜索的隐性差异：即便你认为搜索空间有限，可能存在未注意到的超参数差异。比如参考模型用了适配tanh的权重初始化（如Xavier初始化），但搜索时默认使用He初始化（专为relu设计），或者学习率、正则化参数和参考模型不匹配，导致relu模型训练无法收敛。
• 搜索过程的随机性与训练终止条件：RandomSearch是随机采样超参数组合，若搜索轮次过少，可能没覆盖到能让relu模型表现良好的参数组合；另外如果早停设置的阈值过严，relu模型还未训练到收敛就被提前终止，而参考模型是固定参数训练足够轮次，自然效果差距大。
• 激活函数与任务/损失的匹配度：如果是回归任务且目标值范围接近[-1,1]，tanh作为隐藏层或输出层激活时，和MSE等损失函数的匹配度更高；而relu输出非负，若数据存在负标签，模型根本无法拟合这类值，直接导致效果极差。

内容的提问来源于stack exchange，提问作者Zeit