神经网络为什么要加偏置？---bias与费米能级εF

神经网络不加偏置也可以运行也就是说偏置bias对于神经网络来说不是必须的，那为什么一定要加偏置，有仿生学解释，但是人脑的分子数量是mol量级的，光蛋白质就有几万种，这么复杂的结构应该不是加一个偏置就能模拟的。

直到看到了Fermi-Dirac分布函数










这个函数是由费米和狄拉克在1926年得出的，这个函数看起来像sigmoid实际上当初就是由sigmoid函数构造的。所以是sigmoid函数产生在前。而Hinton用sigmoid实现反向传导已经是60年以后。

Fermi-Dirac分布函数是描述热平衡体系中粒子按能量分布的一种规律。即表示一个电子占据能量为ε的本征态的几率，其值为0~1

β≡1/（kB*T）

kB是玻耳兹曼常量

T是温度

ε是能量

εF是费米能级即系统中电子的化学势，对于金属，绝对零度下，电子占据的最高能级就是费米能级

所以根据神经网络算法很容易得出当β=1时，εF很显然就是bias

• « 上一篇：决策树、Bagging、随机森林、Boosting、Adaboost、GBDT、XGBoost
• » 下一篇：Jenkins集群搭建