Swish

Swish精品文章

• 

  谷歌大脑的 Swish 激活函数与 ReLU 激活函数对比

  ...om/p/95e3... 最近谷歌大脑公布了一个新的激活函数，叫做 Swish 激活函数。这个函数非常的有趣，很多人都把它应用到一些小的神经网络和大的神经网络中去测试它的性能。所以，我也打算去 kaggle 上面测试一些这个函数的性能如...

  wujl596 2019-07-30 15:10 评论0 收藏0
• 

  激活函数可视化

  ...es}, ext{ where $0 < alpha < 1$} $$ 形状差不多的还有Softplus，Swish，Exponential Linear Unit (ELU)，以及Scaled ELU(SELU)，公式如下： $$ ext{Softplus: } f(x) = log(1 + e^x)$$ $$ ext{ELU: }f(x) = egin{cas...

  tolerious 2019-07-31 11:06 评论0 收藏0