神经网络不加偏置也可以运行也就是说偏置bias对于神经网络来说不是必须的,那为什么一定要加偏置,有仿生学解释,但是人脑的分子数量是mol量级的,光蛋白质就有几万种,这么复杂的结构应该不是加一个偏置就能模拟的。

直到看到了Fermi-Dirac分布函数










这个函数是由费米和狄拉克在1926年得出的,这个函数看起来像sigmoid实际上当初就是由sigmoid函数构造的。所以是sigmoid函数产生在前。而Hinton用sigmoid实现反向传导已经是60年以后。

Fermi-Dirac分布函数是描述热平衡体系中粒子按能量分布的一种规律。即表示一个电子占据能量为ε的本征态的几率,其值为0~1

β≡1/(kB*T)

kB是玻耳兹曼常量

T是温度

ε是能量

εF是费米能级即系统中电子的化学势,对于金属,绝对零度下,电子占据的最高能级就是费米能级

所以根据神经网络算法很容易得出当β=1时,εF很显然就是bias