深度学习框架

Pytorch框架

交叉熵采用真实标签的预测概率的负对数似然。

通过在网络中增加一个或者多个隐藏层来克服线性模型的限制，使其能够处理更加普遍的函数关系类型，最简单的方法是将许多全连接层叠在一起。每一层都输出到上面的层，知道生成最后的输出。

输入层不涉及任何运算，因此使用此网络产生输出只需要实现隐藏层和输出层的计算，故这个多层感知机种的层数为2。注意，这两个层都是全连接的。这个全连接层的多层感知机的参数开销可能会高得令人望而却步。