(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210250711.9 (22)申请日 2022.03.15 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 曾向荣　刘煜　钟志伟　刘衍　 许翔昊　刘昱　王江岩　 (74)专利代理 机构 长沙大珂知识产权代理事务 所(普通合伙) 4323 6 专利代理师 伍志祥 (51)Int.Cl. G06T 7/90(2017.01) G06T 7/30(2017.01) G06T 5/00(2006.01) G06N 3/04(2006.01)G06K 9/62(2022.01) G06V 10/771(2022.01) G06V 10/46(2022.01) G06F 17/16(2006.01) H04N 5/232(2006.01) H04N 5/235(2006.01) H04N 5/247(2006.01) H04N 9/31(2006.01) (54)发明名称 一种面向低质量相机的高清成像方法 (57)摘要 本发明公开了一种面向低质 量相机的高清 成像方法， 包括以下步骤:数据采集系统、 数据库 构建和卷积网络生成； 数据采集包括用高清图像 模拟低质量图像、 实际拍摄的低质量图像、 通过 低质量相机拍摄高清图像投影后的图像； 数据库 构建主要是对低质量图像和 高质量图像的图像 进行校正、 低质量图像和高质量图像配准获取像 素点或者像素区域的一一对应； 卷积神经网络生 成采用低质量图像通过单一的卷积神经网络或 者多层卷积神经网络获取高质量图像， 最后与实 际的高清图像的进行对比评估网络的优劣。 本发 明采用低质量相机获得高清图像， 解决了无人机 光电吊舱、 卫星高清成像载荷重、 体积大、 能耗大 的问题。 权利要求书2页 说明书6页 附图8页 CN 114612580 A 2022.06.10 CN 114612580 A 1.一种面向低质量相机的高清成像方法， 其特 征在于， 包括以下步骤： 数据采集： 采集用高清图像模拟低质量图像、 实 际拍摄的低质量图像和通过低质量相 机拍摄高清图像投影后的图像； 数据库构建： 对低质量图像和高质量图像的图像进行校正、 将低质量图像和高质量图 像配准使得像素点或者像素区域 一一对应； 卷积神经网络训练和评估： 将低质量图像通过单一的卷积神经网络或者多层卷积神经 网络获取高质量图像， 与实际的高清图像的进行对比评估卷积神经网络的优劣。 2.根据权利要求1所述的面向低质量相机的高清成像方法， 其特征在于， 所述数据采集 具体实现包括： (1)用高清图像模拟低质量图像， 采用高斯模糊核模拟图像模糊、 运动模糊核模拟图像 运动、 加入雾来模拟雾环境下的图像； 所述运动模糊核为： 其中cx为水平方向的运动， cy为垂直方向上的 运动， n(x,y)为加入的噪声， x， y为高清图像上像素点 坐标； (2)拍摄实际的低质量图像： 将高清相机和低质量相机固定 到一起， 拍摄实际的图像； (3)通过低质量相机拍摄高清图像投影后的图像： 将高质量相机拍摄的图像投影到平 面上， 低质量相机拍摄平面上的投影图像的方式获取图像数据。 3.根据权利要求1或2任一所述的面向低质量相机的高清成像方法， 其特征在于， 低质 量相机拍摄高清图像投影后的图像的步骤为： 将高质量相机拍摄的图像投影到平面上， 其中平面为电脑显示器、 电视机屏幕、 投影仪 的幕布； 低质量相机 固定在投影平面前面， 通过修改相机参数或者改变外界环境模拟拍摄不同 情况下的低质量图像， 其中修改相机的曝光时间、 显示器的亮度来模拟不同光照强度； 在相 机的镜头前面加入水汽、 玻璃来模拟图像中加入雾的环境； 修改原始图像的高亮度区域来 模拟图像的过曝； 调节相机不同距离的拍摄来模拟不同高度下的拍摄； 低质量相机采集和高质量图像投影同步， 高质量图像每隔时间T播放投影， 低质量相机 在T‑△T时采集， 其中T为1s， △T大于相机的 曝光时间且小于 0.5T。 4.根据权利要求1所述的面向低质量相机的高清成像方法， 其特征在于， 数据库构建为 图像配准形成一一配准的图像， 包括实际拍摄低质量图像配准、 通过低质量相 机拍摄高清 图像投影后的图像 配准两种方式： 实际拍摄低质量图像配准， 即低质量相机与高清相机固定在同一个平台上， 同时拍摄， 采用SIFT特 征点匹配的方式对其进行图像匹配； 通过低质量相机拍摄 高清图像投影后的图像配准， 即采用棋盘格拍摄低质量的棋盘格 和高清的棋盘 格， 然后利用每一个点的匹配， 获取对应的匹配区域。 5.根据权利要求4所述的面向低质量相机的高清成像方法， 其特征在于， 所述利用每一 个点的匹配， 获取对应的匹配区域包括： A、 采用31 ×19的棋盘 格， 把棋盘 格图像压缩到和高清图像同样的尺寸； B、 采用角点检测分别检测低质量图像和高质量图像的角点， 建立低质量图像角点和高权　利　要　求　书 1/2 页 2 CN 114612580 A 2质量图像角点的匹配对； C、 获取转换矩阵， 提取低质量图像角点向量αL和高质量图像的角点向量βH对应的方形 网格， 对应的坐标点 为(x0,y0)～(x3,y3)， (x'0,y'0)～(x'3,y'3) 其中转换矩阵为(R,T)， R为2 ×2维， T为2 ×1维； D、 对于其它低质量相机拍摄的图片， 通过(R,T)转换为对应图像， 以实现低质量图像与 高质量图像的配准。 6.根据权利要求1所述的面向低质量相机的高清成像方法， 其特征在于， 通过一层卷积 神经网络或者多层卷积神经网络的方式生成低质量图像， 其中损失函数如下： 其中， Xs为经过一系列操作后输 出的图像， △Xs为输出图像 Xs的梯度， Ys为真实的参考图像， △ Ys为参考图像Ys的梯度， S为图像的RGB通道， 采用该损失函 数， 将颜色的损失函 数、 纹理的损 失函数或去雾的损失函数都融入到一个网络中。权　利　要　求　书 2/2 页 3 CN 114612580 A 3