ReLU 函数在 x> 0 的时候也是线性的,套 ReLU 函数是怎么实现激活作用的?
lisisi:
神经网络每一层节点输出值,都要套一层非线性激活函数。现在使用较多的激活函数 ReLU 激活函数在 x > 0 的时候也是线性的,并且是 y=x ,这能起到“线性”=>“非线性”的作用吗?不太理解 ReLU 是怎么实现激活作用的
神经网络每一层节点输出值,都要套一层非线性激活函数。现在使用较多的激活函数 ReLU 激活函数在 x > 0 的时候也是线性的,并且是 y=x ,这能起到“线性”=>“非线性”的作用吗?不太理解 ReLU 是怎么实现激活作用的