基于ReLU的Python-Numpy神经网络：整数/浮点数加法实现咨询

我需要做一个能处理整数和浮点数加法的神经网络，而且要求输出结果可以大于1或者小于0——这也是我放弃Sigmoid（它会把输出限制在0到1之间），转而选择ReLU激活函数的原因。下面是我用Python和Numpy实现的代码：

from numpy import exp, array, random, dot

class NeuralNetwork():
    def __init__(self):
        random.seed(1)
        # 设置隐藏层（第二层）和第三层的节点数
        # 节点数越多，预测的置信度可能越高？
        l2 = 5
        l3 = 4
        # 为网络中的矩阵分配随机权重...

内容的提问来源于stack exchange，提问作者ilapasle