(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210180526.7 (22)申请日 2022.02.25 (71)申请人 北京机电工程研究所 地址 100074 北京市丰台区云岗北 北里40 号 (72)发明人 李祺　程晓光　郑维宁　朱婕　 杨宪铭　赵越　 (74)专利代理 机构 成都行之智 信知识产权代理 有限公司 5125 6 专利代理师 温利平 (51)Int.Cl. H04N 7/18(2006.01) H04L 61/5007(2022.01) H04N 19/42(2014.01) H04N 19/423(2014.01)H04N 5/225(2006.01) H04N 5/232(2006.01) (54)发明名称 一种远程图像采集装置 (57)摘要 本发明公开了一种远程图像采集装置， 先通 过图像采集模块采集图像， 然后在图像处理模块 中， 利用ZYNQ芯片的FPGA主要完成系统控制、 数 据的存储和传输以及后处理， ARM处理器则用于 对ADC输入数据的前处理和输 出数据至DA C； 在PS 端与PL端之间通过AXI总线进行数据交互， 包括 AXI4和AXI4_Lite总线， 其中AXI4总线的数据位 宽为64bit， 用于传输 数据量大、 传输延时要 求高 的图像数据； AXI4_Lite总线的数据位宽为 32bit， 用于控制数据的传输 。 权利要求书1页 说明书6页 附图4页 CN 114554155 A 2022.05.27 CN 114554155 A 1.一种远程图像采集装置， 其特征在于， 包括： 双通道的图像采集模块、 高速实时的图 像处理模块以及人机交 互模块； 所述双通道的图像采集模块包含两个图像采集传感器， 图像采集传感器用于采集图 像， 再将采集的图像以光信号方式转换为电信号， 转换后的电信号通过同轴线缆输入高速 实时的图像处 理模块； 所述高速实时的图像处理模块包括视频解码芯片、 Zynq芯片、 网口以及存储器； Zynq芯 片又包括FPGA和ARM处 理器； 其中， ARM处理器运行嵌入式控制程序， 负责接收远程PC机的指令， 通过指令解析后通 过AXI‑Lite总线将控制 信号传输至FPGA端， 实现对视频解码芯片配置模块、 通道选择模块、 AXI_DMA IP核的配置， 配置完成后对采集装置进行功能调度， 具体为： 视频解码芯片对图像 采集传感器转换后的电信号进行解码处理， 输出格式为ITU ‑R BT.656标准的数字视频信 号， ARM处理器控制FPGA对数字视频信号进行图像数据重组， 再将重组后的图像数据以DMA 方式传输 至存储器储存， 同时通过网口传输给 人机交互模块； 所述人机交互模块用于配置图像采集装置的IP地址， 实现信号的远程传输， 同时通过 显示器对 采集的图像进行实时显示。 2.根据权利要求1所述的一种远程图像采集装置， 其特征在于， 所述视频解码芯片的工 作状态由视频芯片配置模块通过I2C总线进行配置， 当视频解码芯片配置完成后， 芯片在 27Mhz的时钟下持续的对图像采集传感器换后的电信号进行解码处理， 并通过LVDS接口将 转换完成的数字 视频信号接入 Zynq芯片的FPGA端。 3.根据权利要求1所述的一种远程图像采集装置， 其特征在于， 所述FPGA包括视频芯片 配置模块、 通道选择模块、 数据解析模块、 图像预处 理模块、 图像数据重组模块 FPGA首先经过通道选择模块选择一路数字视频信号输出至数据解析模块， 数据解析模 块解析出数字视频信号的标志信息， 包括： 有效数据、 消隐信号标志、 数据错误标志、 图像帧 的头部和 尾部信号、 行同步信号、 场同步信号、 复合同步信号； 然后先根据数据错误标志判 断当前解析的图像数据是否包含完整的信息， 当信息不完整时， 当前图像帧被丢弃， 数据解 析模块等待下一帧图像数据输入； 否则， 数据解析模块将完整无误的图像数据伴 随着解析 出的标志信息 输入至图像预处 理模块； 在图像预处理模块 中， 数据分离模块先利用数据标志信息从ITU ‑R BT.656格式的图像 数据中分别提取偶数场和奇数场中的包含有有效数据的行， 同时剥离无效的场消隐信号； 其中， 初步提取出 的行中仍然包含辅助信号、 行消隐信号、 有效图像信号， 再利用辅助信号 进一步剔除行消隐数据， 此时， 剔除后的图像数据中只包含有效的灰阶值Y和色度值Cr、 Cb， 其中， Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异， Cb反映的使RGB输入信 号蓝色部分与 RGB信号亮度值间的差异； 保留灰阶值Y不变， 通过串并转换模块先进行传输 位宽的拓展， 再进一步压缩Cr、 Cb， 到新的Cr和Cb， 最后将 处理后的Cr、 Cb和Y利用FIFO缓存 后同步输出至图像数据重组模块； 图像数据重组模块， 用于将Y、 Cr、 Cb有效图像数据重新组合； 具体重组方式为： 利用一 个Y值对应一组Cr、 Cb的方式将图像数据重新组合成YUV  4： 2： 0的数据格式， 组合完成的图 像数据通过符合AXI数据流的接口输出至AXI_DMA  IP核， 并以网络数据包的形式传输至采 集装置的网口发送给 人机交互模块。权　利　要　求　书 1/1 页 2 CN 114554155 A 2一种远程图像采集装 置 技术领域 [0001]本发明属于图像采集 技术领域， 更为具体地讲， 涉及一种远程图像采集装置 。 背景技术 [0002]图像的采集与 存储设备已经广 泛应用于工业生产、 医疗卫生、 航空航天等领域， 提 升图像数据处理速度与降低图像传输延迟对图像采集 终端设备有着重大的意义。 在特定的 场景下， 如远程手术、 航天探测器、 无人机电力巡检等， 对图像远程传输的实时性和稳定性 有着很高的要求， 而在图像采集、 传输及处理过程中需要大量的时间。 例如， 由模数转换器 转换得到的尺寸为1728*625的8b it的数字化图像数据大小为1.03MB， 当传 感器高帧率、 连 续的采集图像时需要具备较高的传输带宽才能保证图像数据的完整性。 除此之外， 为了有 效利用图像信息还需要对数据进行处理。 传 统的DSP或ARM处理器具有优秀的控制能力， 但 是取样速率较低、 指令串行执行且系统使用浮点， 很难对数据量大、 像素相关性大、 频带较 宽的图像数据进行直接处 理。 [0003]目前FPGA器件具有的数据并发处理、 流水线技术、 边接收边 处理、 高速接口等特性 同图像数据传输及处理的需求十分契合， 但是在外设控制能力方面有所不足。 为了构建一 个图像传输延迟低、 可远程网络图传、 可程控的图像采集系统， 本文采用Xilinx公司推出的 ZYNQ高性能芯片， ZYNQ芯片内部融合了ARM处理器和FPGA， 处理器与FPGA之间通过高速的 AXI总线互联， 这些特性能够实现处理速度、 控制能力、 传输速率的最大化， 同时ARM处理器 还能借助Linux系统搭载Gstreamer流媒体应用将处理好的图像数据推送到网络实现远程 图传。 发明内容 [0004]本发明的目的在于克服现有技术的不足， 提供一种远程图像采集装置， 通过嵌入 式的软硬件和扩展口对图像传感器采集的数据进 行实时的数据处理并将数据推送到网口， 实现图像数据的远程采集。 [0005]为实现上述发明目的， 本发明一种远程图像采集装置， 其特征在于， 包括： 双通道 的图像采集模块、 高速实时的图像处 理模块以及人机交 互模块； [0006]所述双通道的图像采集模块包含两个图像采集传感器， 图像采集传感器用于采集 图像， 再将采集的图像以光信号方式转换为电信号， 转换后的电信号通过同轴线缆输入高 速实时的图像处 理模块； [0007]所述高速实时的图像处理模块包括视频解码芯片、 Zynq芯片、 网口以及存储器； Zynq芯片又包括FPGA和ARM处 理器； [0008]其中， ARM处理器运行嵌入式控制 程序， 负责接收远程PC机的指令， 通过指令解析 后通过AXI ‑Lite总线将控制信号传输至FPGA端， 实现对视频解码芯片配置模块、 通道选择 模块、 AXI_DMA  IP核的配置， 配置完成后对采集装置进行功能调度， 具体为： 视频解码芯片 对图像采集传感器转换后的电信号进 行解码处理， 输出格式为ITU ‑R BT.656标准的数字视说　明　书 1/6 页 3 CN 114554155 A 3