currently reading articles under you/intelligence

softmax

cs231n - assignment1 - softmax 梯度推导

线性整流函数 Rectified Linear Unit, ReLU

demo http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

维基百科

是一种激活函数。

知乎:激活函数的作用具体是什么?为什么效果比sigmoid好?

作用

>是为了增加神经网络模型的非线性。否则你想想,没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后,无非还是个矩阵相乘罢了。所以你没有非线性结构的话,根本就算不上什么神经网络。

效果显著

>发现ReLU更容易学习优化。因为其分段线性性质,导致其前传,后传,求导都是分段线性。而传统的sigmoid函数,由于两端饱和,......

features

Summary

A Machine Learning Craftsmanship Blog http://iamtrask.github.io/

Readme

简书 CS231n(winter2016):Assignment1

tuicode CS231n课程笔记翻译:最优化笔记(上)

原文

腾讯 海豚浏览器员工 计算机视觉公开课

常用图像数据集

Numpy入门

Softmax

http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92

http://zjjconan.github.io/articles/2015/04/Softmax-Regression-Matlab/

https://hit-scir.gitbooks.io/neural-networks-and-dee......