主流卷积神经网络的硬件设计与性能分析

作为深度学习领域中最具有影响力的网络结构之一, 卷积神经网络朝着更深更复杂的方向发展, 对硬件计算能力提出了更高的要求, 随之出现了神经网络专用处理器. 为了对这类处理器进行客观比较, 并指导软硬件优化设计, 本文针对卷积神经网络提出了宏基准测试程序和微基准测试程序. 其中, 宏基准测试程序包含主流的卷积神经网络模型, 用于处理器性能的多方位评估和对比; 微基准测试程序包含卷积神经网络中的核心网络层, 用于细粒度定位性能瓶颈并指导优化. 为了准确描述这套基准测试程序在真实硬件平台上的性能表现, 本文选取了I/O等待延迟、跨节点通信延迟和CPU利用率3大系统性能评测指标以及IPC、分支预测、资源竞争和访存表现等微架构性能评测指标. 基于评测结果, 本文为处理器的硬件设计与架构改进提出了可靠建议.