神经网络中的偏置有什么意义

爿臣戈王耑/ 一月 25, 2018/ 机器学习/ 0 comments

最基础的神经元感知器如下:

这个例子中输入为三个变量, 输出为 0 或 1. 当三个变量的加权和大于某个阈值的时候, 输出为 1, 反之为 0。

注意这里的阈值, 它度量了神经元产生正 (负) 激励的难易程度. 也就是说,在上文的模型中, 阈值越大, 产生正激励的难度越大.

而为了更好的计算和表达,我们可以把其中的 b 和  移到同一边,同时给他取了一个不错的名字,叫做偏置 Bias,而 w 叫做权重 weight!

也就是说: 偏置的大小度量了神经元产生正 (负) 激励的难易程度.

这是最简单的感知器神经元. 而现代神经网络中常用的 Sigmoid, tanh 或是 ReLU 都是在的基础上加上一个激活函数, Bias 也就是 b 的意义是一样的。

同时对于偏置需要注意的点是:偏置是不需要正则化的,并且正则化偏置的话会导致欠拟合。我们从意义上去理解话,若对偏置正则化(惩罚),会导致激活变得更加简单,偏差就会上升,学习的能力就会下降!

发表 评论

电子邮件地址不会被公开。 必填项已用*标注

你可以使用 HTML 标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>
*
*