试题详情

下列关于梯度消失和梯度爆炸的说法正确的有()。

A根据链式法则,如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话,那么即使这个结果是0.99,在经过足够多层传播之后,误差对输入层的偏导会趋于0

B可以采用ReLU激活函数有效地解决梯度消失的情况

C根据链式法则,如果每一层神经元对上一层的输出的偏导乘上权重结果都大于1的话,在经过足够多层传播之后,误差对输入层的偏导会趋于无穷大

D可以通过减小初始权重矩阵的值来缓解梯度爆炸