21.递归神经网络

为什么有BP神经网络,CNN还需要RNN

    BP神经网络和CNN的输入输出都是相互独立的,但是实际应用种有些场景输出内容和之前的内容有关联.

    RNN引入"记忆"的概念;递归指其每一个元素都执行相同的任务,但是输出依赖于输入和"记忆"

    我们已经学习了前馈网络的两种结构--bp神经网络和卷积神经网络,这两种结构有一个特点,就是假设输入

    是一个独立的没有上下文联系的单位,但是对于一些有明显的上下问特征的序列化输入,比如预测视频中

    下一帧的播放内容,那么很明显这样的输出必须依赖以前的输入,也就是说网络必须拥有一定的"记忆能力".

    为了赋予网络这样的记忆力,一种特殊结构的神经网络--递归神经网路便应运而生了.

    为了克服梯度消失的问题,LSTM和GRU模型便后续被推出了,为什么LSTM和GRU可以克服梯度消失问题尼?由于

    它们都有特殊的方式储存"记忆",那么以前梯度比较大的"记忆"不会像简单的RNN一样马上被抹除,因此可以

    一定程度上克服梯度消失问题,另一个简单的技巧可以用来克服梯度爆炸的问题就是gradient clipping,也就

    是当你计算的梯度超过阈值c的或者小于阈值-c时候,便把此时的梯度设置成c或-c.