交叉熵 和 softmax 公式及 python 实现

2023-02-07 19:15:56

交叉熵损失函数：实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。

H(p, q) = -\sum _x (p(x)\,log\,q(x) + (1-p(x))log(1-q(x)))

Python 实现：

def cross_entropy(a, y):
    return np.sum(np.nan_to_num(-y*np.log(a)-(1-y)*np.log(1-a)))

# tensorflow version
loss = tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y), reduction_indices=[1]))

# numpy version
loss = np.mean(-np.sum(y_*np.log(y), axis=1))

 

Softmax 函数：将激活值与所有神经元的输出值联系在一起，所有神经元的激活值加起来为1。

第L层（最后一层）的第j个神经元的激活输出为： a^L_j = \frac{e^{Z^L_j}}{\sum_ke^{Z^L_k}}

Python 实现：

def softmax(x):
    shift_x = x - np.max(x)    # 防止输入增大时输出为nan
    exp_x = np.exp(shift_x)
    return exp_x / np.sum(exp_x)

 

  • 作者：Liu, Xu
  • 原文链接：https://blog.csdn.net/francislucien2017/article/details/86763319
    更新时间：2023-02-07 19:15:56