(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210675284.9 (22)申请日 2022.06.15 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 (72)发明人 魏榕山　林宇轩　陈标发　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈明鑫　蔡学俊 (51)Int.Cl. G06F 9/50(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于FPGA的Mobi leNet硬件加速系统 (57)摘要 本发明涉及一种基于 FPGA的MobileNet 硬件 加速系统。 包括PL端、 CPU端、 通信模块、 存储模 块， PL端负责MobileNet网络的加速实现， CPU端 负责统筹协调任务并发送指令； 所述PL端包括核 心控制模块及与该核心控制模块连接的各运算 模块； 所述通信模块用于实现PL端与CPU端、 存储 模块的数据传输； 所述存储模块用于协调存储PL 端数据。 本发 明能够使 得网络进行推理时能够充 分发挥并行展开度， 提高资源利用率与系统吞吐 率。 权利要求书2页 说明书4页 附图3页 CN 114911628 A 2022.08.16 CN 114911628 A 1.一种基于FPGA的MobileNet硬件加速系统， 其特征在于， 包括PL端、 CPU端、 通信模块、 存储模块， PL端负责Mobi leNet网络的加速实现， CPU 端负责统筹协调任务并发送指令； 所述PL端包括核心控制模块及与该核心控制模块连接的各运 算模块； 所述通信模块用于实现PL端与CPU 端、 存储模块的数据传输； 所述存储模块用于协调存 储PL端数据。 2.根据权利要求1所述的一种基于FPGA的MobileNet硬件加速系统， 其特征在于， PL端 通过配置直接存储器访问与存储模块通信实现输入输出数据 的传输， 指令存储于PL端的 BRAM。 3.根据权利要求1所述的一种基于FPGA的MobileNet硬件加速系统， 其特征在于， 所述 核心控制模块为Co mmand Analyzer， 负责解析Command  Queue发来的指令， 并输 出相应的控 制信号控制各运算模块运行， Command  Queue通过通信模块与CPU端进行交互， 核心控制模 块采用状态机实现。 4.根据权利要求1所述的一种基于FPGA的MobileNet硬件加速系统， 其特征在于， 所述 各运算模块分别为深度卷积模块、 逐点卷积模块、 SoftMax模块以及平均池化模块， 各运算 模块受核心控制模块控制， 从输入缓冲区读取输入特征图， 利用DSP资源进行相应计算， 中 间数据缓存于 输出缓冲区， 计算完成后进行量 化、 激活， 最终存 入输入缓冲区。 5.根据权利要求1所述的一种基于FPGA的MobileNet硬件加速系统， 其特征在于， 所述 存储模块为片外DDR存储器。 6.根据权利要求1所述的一种基于FPGA的MobileNet硬件加速系统， 其特征在于， 所述 通信模块采用AXI 4以及AXI 4‑Lite总线。 7.根据权利要求4所述的一种基于FPGA的MobileNet硬件加速系统， 其特征在于， 所述 深度卷积模块兼容标准卷积， 深度卷积模块的实现方式为： MobileNet网络中共包含一层标 准卷积层以及十三层深度卷积层， 共十四层网络层， 考虑到FPGA资源及MobileNet网络结构 特征， 按照32  x 18的并行展开度对输入 特征图通道数及尺 寸两个维度进 行展开， 通过重复 设计包括乘法器、 加法器的树资源实现深度卷积并行展开计算； 此外， 运用流水线技术对深 度卷积计算过程进行优化， 将深度卷积操作过程进行细分， 以周期为单位细分包括读取数 据、 乘法、 累加、 缓存中间数据、 读取缓存数据的一系列操作， 使 得每个环节在每个周期都有 连续的输入与输出。 8.根据权利要求4所述的一种基于FPGA的MobileNet硬件加速系统， 其特征在于， 所述 逐点卷积模块兼容全连接层， 逐点卷积模块的实现方式为： 考虑到FPGA资源及逐点卷积层 结构特征， 按照32  x 32 的并行展开度对输入特征图通道数及过滤器组数两个维度进 行展 开， 通过重复设计包括乘法器、 加法器的树资源实现逐点卷积并行展开计算； 此外， 利用流 水线技术对逐点卷积计算过程进行优化， 将逐点卷积操作过程进行细分， 以周期为单位细 分包括读取数据、 乘法、 累加、 缓存中间数据、 读取缓存数据的一系列操作， 使得每个环节在 每个周期都有连续的输入与输出， 而不互相依赖， 实现流水线设计； 当逐点卷积的行列数均 退化为1以后其与全连接层操作一致， 因此， 全连接层即为输入特征图尺寸为1  x 1的逐点 卷积层。 9.根据权利要求4所述的一种基于FPGA的MobileNet硬件加速系统， 其特征在于， 所述 平均池化模块的实现方式为： 考虑到卷积模块架构及存储模块的设计， 并结合平均池化层权　利　要　求　书 1/2 页 2 CN 114911628 A 2运算特点， 按照32  x 7 的并行展开度对输入特征图通道数及输入特征图行数两个维度进 行展开， 通过重复设计包括加法器树、 除法器的树资源实现平均池化并行展开计算； 此外， 运用流水线技术对平均池化计算过程进行优化， 将平均池化过程进行细分， 以周期为单位 细分包括读取数据、 累加、 除法以及保存输出数据的一系 列操作， 使得每个环节在每个周期 都有连续的输入与输出。 10.根据权利 要求4所述的一种基于FPGA的MobileNet硬件加速系统， 其特征在于， 所述 SoftMax模块的实现方式为： 考虑到SoftMax层的主要作用在于概率映射， 是否计算SoftMax 函数并不影响分类结果， 因此SoftMax层利用比较 器进行大小上的比较。权　利　要　求　书 2/2 页 3 CN 114911628 A 3