试题详情

sigmoid函数在深度神经网络中梯度反向时容易导致梯度消失。

将Sigmoid激活函数改为ReLu，将有助于克服梯度消失问题

以下哪些激活函数容易产生梯度消失问题?

如果深度学习神经网络出现了梯度消失或梯度爆炸问题我们常用的解决方法为

Sigmoid是神经网络中最常用到的一种激活函数，除非当梯度太大导致激活函数被弥散，这叫作神经元饱和,这就是为什么ReLU会被提出来，因为ReLU可以使得梯度在正向时输出值与原始值一样。这意味着在神经