激活函数的发展综述及其性质分析

为深入研究激活函数的作用机制,探讨优良激活函数应具备的性质,以提高卷积神经网络模型的泛化能力,文章综述了激活函数的发展,分析得到优良激活函数应具备的性质.激活函数大体可分为"S型"激活函数、"ReLU型"激活函数、组合型激活函数、其他类型激活函数.在深度学习发展初期,"S型"激活函数得到了广泛应用.随着网络模型的加深,"S型"激活函数出现了"梯度消失"问题.ReLU激活函数的出现缓解了这一问题,但ReLU负半轴"置0"则引入了"神经元坏死"的问题.随后出现的改进激活函数大多基于ReLU负半轴进行改动,以缓减"神经元坏死".文章最后以多层感知机为例,推导了优良激活函数在前向、反向传播中的作用,并得出其应该具备的性质.