这是一个创建于 358 天前的主题，其中的信息可能已经有所发展是发生改变。
神经网络每一层节点输出值，都要套一层非线性激活函数。现在使用较多的激活函数 ReLU 激活函数在 x ＞ 0 的时候也是线性的，并且是 y=x ，这能起到“线性”=>“非线性”的作用吗？不太理解 ReLU 是怎么实现激活作用的
 | 1 GuuJiang 358 天前 via iPhone  3 线性指的是全定义域线性，有分段就已经是非线性了，更进一步地说，ReLU 的行为跟生物的神经网络也比较接近，即需要超过某个阈值后才导通 |
 | 2 565656 358 天前 1 如果全部节点都是 y=x ，确实是线性的，但是不会这样，总会有一部分<0 的，这样就不是线性了 |
 | 3 greyfox 358 天前 via Android 1 x>0 时，y=x ，即激活，x<0 时，y=0 ，即不激活，相当于在 x=0 处拐了个弯，就是非线性了 |
 | 4 sanebow 357 天前 via iPhone 线性的定义是对于任意 x 和 y ，f(a*x + b*y) = a*f(x) + b*f(y)。比如假设 a=b=1 ，随便找一个负数 x 和正数 y 带入，你就会发现 ReLU 不满足上面等式了。 |
Select Language