试题详情

将Sigmoid激活函数改为ReLu，将有助于克服梯度消失问题

Relu激活函数能解决梯度消失问题，但是会出现dyingrelu现象，即训练过程中，有些神经元实际上已经死亡“而不再输出任何数值

以下哪些激活函数容易产生梯度消失问题?

Sigmoid是神经网络中最常用到的一种激活函数，除非当梯度太大导致激活函数被弥散，这叫作神经元饱和,这就是为什么ReLU会被提出来，因为ReLU可以使得梯度在正向时输出值与原始值一样。这意味着在神

sigmoid函数在深度神经网络中梯度反向时容易导致梯度消失。