一般来说,三层神经网络可以逼近任何一个非线性函数,为什么还需要深度神经网络-

发布日期:2021-10-19 08:52    点击次数:148

菜鸡来分享一下自己的理解。大佬勿喷。

首先,说一下对深度神经网络的理解,以cnn为例,其实在没有fc之前的卷积层,它的作用是在提取特征,而越深(或者越宽)的网络都会为特征的提取带来良性影响,使得当前保留的有效信息更多。并且卷积网络是可以参数共享的,这势必可以在参数量不那么多的情况下,对输入数据进行更好的采样,得到一个很好的feature来参与后续的回归或者分类任务等等。再加上归一化的运作,在尽可能减少参数量和运算难度的情况下,将数据映射到了一个低维空间。(ps:这里有一个我不太确定的结论,他的整个过程有点像在一个空间里,将原本的数据变成了一个个的指向一个球面的vector,并且由于归一化,都落在一个单位圆的内部)

回看MLP,有神经元组成的网络结构,首先参数上爆炸性的增加(以图片来说,类比fc层)。我们没有使用一种“方法”将原本的高维数据map到一个更方便我们处理的维度,这会大大增加开销,并且由于数据本身的一些缺陷,导致效果没有预期那么好。

我记得我好像在哪也看到了这句话,算了想不起来了。可能说得不太对,因为咱也是个瑟瑟发抖的菜鸡。谁喷我我就哭。