传送门: https://www.cnblogs.com/greentomlee/p/.html
github: Leezhen2014: https://github.com/Leezhen2014/python_deep_learning
在第二篇中介绍了用数值微分的形式计算神经网络的梯度,数值微分的形式比较简单也容易实现,但是计算上比较耗时。本章会介绍一种能够较为高效的计算出梯度的方法:基于图的误差反向传播。
根据 deep learning from scratch 这本书的介绍,在误差反向传播方法的实现上有两种方法:一种是基于数学式的(第二篇就是利用的这种方法),一种是基于计算图的。这两种方法的本质是一样的,有所不同的是表述方法。计算图的方法可以参考feifei li负责的斯坦福大学公开课CS231n 或者theano的tutorial/Futher readings/graph Structures.
之前我们的误差传播是基于数学式的,可以看出对代码编写者来说很麻烦;
这次我们换成基于计算图的;
文章名称:动手实现深度学习(5):计算图的实现
网站链接:
http://jkwzsj.com/article/dsogeoe.html