Osheep

时光不回头,当下最重要。

Softmax 函数与交叉熵

softmax 函数

在神经网络的最后一层,通常使用 softmax 函数来将各神经元的输出压缩到 [0, 1] 之间,可以当成概率来理解。
softmax 函数的形式如下

Softmax 函数

《Softmax 函数与交叉熵》

其中,C 为输出层神经元的个数,z 是一个 C 维的向量,表示的是未经 softmax 之前的输出(softmax 层的输入)。P(i) 表示是第 i 类的概率,是一个标量

可以将 softmax 函数写成向量形式

《Softmax 函数与交叉熵》

softmax 函数的向量形式

这时的 P 是一个 C向量
举一个例子,softmax 层的输入 z

《Softmax 函数与交叉熵》

我们用 Python 编写一个 softmax 函数(Python 中默认使用行向量)

def softmax(input):
    return np.exp(input) / np.sum(np.exp(input))

该函数的输出为

《Softmax 函数与交叉熵》

可以看到, z 的值被压缩到了 [0, 1] 之间。

交叉熵

通常,对使用了 softmax 层的多分类神经网络,我们在最后一层使用的损失函数为交叉熵,它的形式如下

交叉熵函数

《Softmax 函数与交叉熵》

这里的 y^ 指的是预测值(softmax 层的输出)。y 指的是真实值,是一个 One-Hot 编码后的 C 维向量,如果样例 x 是类别 i,则 y 的第 i 维的值为 1,其余维的值为 0(例如,x 是类别 2, 共 4 类,则 y 的 值为 [0, 1, 0, 0])。
也可以将其写成向量形式

《Softmax 函数与交叉熵》

loss 函数的向量形式

对应的 cost function 如下

《Softmax 函数与交叉熵》

cost 函数

向量形式如下

《Softmax 函数与交叉熵》

cost 函数的向量形式

我们在使用梯度下降法求解的过程中,需要计算 cost 对输入 z 的导数,在 softmax + 交叉熵 组合的情况下,导数的形式非常简洁:

《Softmax 函数与交叉熵》

下面给出具体推导

《Softmax 函数与交叉熵》

点赞