卷积神经网络中激活函数的性质分析与改进
Computer Simulation（2022）
摘要
为了提高卷积神经网络模型的效率,针对激活函数进行了研究.通过研究多种激活函数的发展进程,列举各类激活函数的性质,以及在分析模型前向传播和反向传播中激活函数所起到的作用的基础上,提出了改进的激活函数ReLU-XeX,有效的缓解了梯度消失、"神经元坏死"等问题.在MNIST、CIFAR-10、CIFAR-100、MSTAR数据集上的试验结果表明,改进的激活函数ReLU-XeX整体表现强于其它的一些激活函数,且在模型的收敛速度上有所提升.对激活函数的性质进行了较为深入的研究,将激活函数的理论和实际表现进行了对照,用算法仿真论证了改进的激活函数ReLU-XeX在理论上存在的优势.
更多AI 理解论文
溯源树
样例
生成溯源树，研究论文发展脉络
Chat Paper
正在生成论文摘要