试题详情

注意力机制的非线性激活函数常用tanh

传统神经网络常用的激活函数是sigmoid与tanh

循环神经网最常用的激活函数是tanh，除了tanh还可以使用：①.relu②.sigmoid③.softmax④.完全不使用激活函数

层非线性映射（multi-layernonlinearprojection）：表示深度学习网络的隐层，DSSM使用三个全连接层，每一层神经元的个数是300，然后最后一层的维度是128维度，激活函数采

卷积神经网络经常使用的激活函数有好几种：（）、tanh函数、ReLu函数、LeakyReLu函数、PReLu函数等。