手写字母识别神经网络是否存在更优的激活函数？

我正在开发一个手写字母识别程序，目前的核心实现细节整理如下：

• 图像输入处理：导入500px×500px的图像并转为BufferedImages，将每个像素的getRGB()值直接作为神经网络的输入特征——算下来总共有250000个输入节点。这里getRGB()的取值范围很明确：-16777216代表笔迹，-1代表白色背景。
• 神经网络权重初始化：输入层到首个隐藏节点的权重，我采用的是0到1之间的随机值初始化方式。
• 激活函数选择：一直使用sigmoid函数作为激活函数，公式为 1/(1+e^(-x))。

内容的提问来源于stack exchange，提问作者biz