(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111657053.7 (22)申请日 2021.12.3 0 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 谢宁　陆一凡　申恒涛　 (74)专利代理 机构 成都希盛知识产权代理有限 公司 512 26 代理人 陈泽斌 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于生成对抗网络的蒙特卡罗渲染图 去噪方法 (57)摘要 本发明涉及图像处理技术， 其 公开了一种基 于生成对抗网络的蒙特卡罗渲染图去噪方法， 解 决现有技术中的网络推理时间长， 导致图像去噪 效率低的问题， 且去噪结果可以较好的恢复噪声 渲染图的低频内容与高频细 节， 以获得在视觉上 更加真实的去噪结果。 本发明基于构建的蒙特卡 罗渲染图去噪模型来实现对蒙特卡罗 渲染图的 精确、 高效去噪， 而蒙特卡罗渲染图去噪模型是 由生成对抗网络训练而成； 生 成对抗网络的架构 包括去噪网络和鉴别网络， 去噪网络部分主要由 噪声特征编码器和辅助特征编码器构成； 鉴别网 络主要由鉴别器构成； 去噪网络输入噪声渲染图 和辅助缓存图， 输出去噪渲染图； 鉴别网络用于 对输入的去噪渲染图和噪声渲染图对应的目标 渲染图鉴别真假图像 。 权利要求书3页 说明书8页 附图4页 CN 114331895 A 2022.04.12 CN 114331895 A 1.一种基于生成对抗网络的蒙特卡罗渲染图去噪方法， 其特 征在于， 包括以下步骤： A、 训练蒙特卡罗渲染图去噪模型： A1、 构建训练样本集： 所述训练样本集包括漫反射图像训练样本集和镜面反射图像训练样本集； 所述漫反射 图像训练样本集包括漫反射噪声渲染图、 漫反射噪声渲 染图的辅助缓存图和漫反射目标渲 染图； 所述镜面反射图像训练样本集包括镜面反射噪声渲染 图、 镜面反射噪声渲染 图的辅 助缓存图和镜面反射目标渲染图； A2、 构建生成对抗网络： 构建两个相同结构的生成对抗网络； 所述生成对抗网络包括去噪网络和鉴别网络， 所 述去噪网络包括多尺度辅助特征编 码器和层级残差网络噪声 特征编码器； 所述鉴别网络包 括边缘增强意识的鉴别器； A3、 训练生成对抗网络， 获得去噪模型： 利用所述漫反射图像训练样本集对一个生成对抗网络进行训练， 获得漫反射图像生成 对抗网络模型， 利用所述镜面反射图像训练样本集对另一个生成对抗网络进行训练， 获得 镜面反射图像生成对抗网络模型； 提取漫反射图像生成对抗网络模型和镜面反射图像生成对抗网络模型中的去噪网络 部分作为 蒙特卡罗图渲染去噪模型； B、 利用训练好的蒙特卡罗渲染图去噪模型对待 去噪蒙特卡罗渲染图进行去噪。 2.如权利要求1所述的一种基于生成对抗网络的蒙特卡罗渲染图去噪方法， 其特征在 于， 步骤A1中， 所述辅助缓存图包括深度缓存图、 法线缓存图和反照率缓存图。 3.如权利要求1所述的一种基于生成对抗网络的蒙特卡罗渲染图去噪方法， 其特征在 于， 步骤A1中， 所述漫反射图像训练样本集和镜面反射图像训练样本集的获取 方法为： 采用渲染器对预定义的三维场景进行低采样数渲染， 获得噪声渲染图与辅助缓存图， 对预定义的三维场景进行高采样数渲染， 获得目标渲染图； 将噪声渲染图按场景物体的材质属性拆分为漫反射噪声渲染图和镜面反射噪声渲染 图， 将目标渲染图按场景物体的材质属性拆分为漫反射目标渲染图和镜面反射目标渲染 图； 由漫反射噪声渲染图、 漫反射噪声渲染图的辅助缓存图和漫反射目标渲染图构 成所述 漫反射图像训练样本集； 由镜面反射噪声渲染 图、 镜面反射噪声渲染 图的辅助缓存图和镜 面反射目标渲染图构成所述镜面反射图像训练样本集。 4.如权利要求1所述的一种基于生成对抗网络的蒙特卡罗渲染图去噪方法， 其特征在 于， 步骤A3中， 利用所述漫反射图像训练样本集对一个生成对抗网络进行训练， 获得漫反 射图像生成对抗网络模型， 具体包括： 将漫反射噪声渲染图和漫反射噪声渲染图的辅助缓存图输入生成对抗网络中的去噪 网络部分， 输出去 噪渲染图； 将去噪渲染图和漫反射 目标渲染 图输入生成对抗网络中的鉴 别网络部分， 输出去 噪渲染图和漫反射 目标渲染图各自的评分； 分别采用对抗性损失和对 称平均绝对百分比误差作为去噪网络部分和 鉴别网络部分的损失函数对应训练生成对抗权　利　要　求　书 1/3 页 2 CN 114331895 A 2网络的去噪网络 部分和鉴别网络 部分。 5.如权利要求1所述的一种基于生成对抗网络的蒙特卡罗渲染图去噪方法， 其特征在 于， 步骤A3中， 利用所述镜面反射图像训练样本集对一个生成对抗网络进行训练， 获得镜 面反射图像生成对抗网络模型， 具体包括： 将镜面反射噪声渲染图和镜面反射噪声渲染图的辅助缓存图输入生成对抗网络中的 去噪网络部分， 输出去 噪渲染图； 将去噪渲染图和镜面反射 目标渲染 图输入生成对抗网络 中的鉴别网络 部分， 输出去噪渲染图和镜面反射目标渲染图各自的评分； 分别采用对抗性损失和对称平均绝对百分比误差作为去噪网络部分和鉴别网络部分 的损失函数对应训练生成对抗网络的去噪网络 部分和鉴别网络 部分。 6.如权利要求1所述的一种基于生成对抗网络的蒙特卡罗渲染图去噪方法， 其特征在 于， 步骤A2中， 所述多尺度辅助特 征编码器包括浅层特 征提取模块和深层特 征提取模块； 所述浅层特征提取模块， 用于以按通道维度连接起来的深度缓存图、 法线缓存图与反 照率缓存图作为输入， 提取浅层特征； 其包括依次相连的第一卷积层、 第一激活函数层、 第 二卷积层、 第二激活函数层和第三卷积层； 所述深层特征提取模块， 用于以所述浅层特征作为输入， 提取深层的上下文语义和 空 间细节特 征， 其包括多个堆叠的卷积密集模块和多尺度特 征融合模块。 7.如权利要求1所述的一种基于生成对抗网络的蒙特卡罗渲染图去噪方法， 其特征在 于， 步骤A2中， 所述层级残差网络噪声特征编码器包括： 浅层噪声特征提取模块、 深层噪声 特征提取模块、 辅助信息编码器和生成器； 所述浅层噪声特征提取模块以噪声渲染图作为输入， 提取浅层噪声特征， 其包括一个 卷积层； 所述深层噪声特征提取模块以浅层噪声 特征和多尺度辅助特征编 码器提取的辅助 特征作为输入， 提取深层噪声 特征， 其包括依次连接的四个双重残差块； 所述生成器以浅层 噪声特征与深层噪声特征 的叠加结果作为输入， 生成去 噪渲染图， 其包括依 次相连的第四 卷积层、 第三激活函数层、 第五卷积层和第四激活函数层。 8.如权利要求1所述的一种基于生成对抗网络的蒙特卡罗渲染图去噪方法， 其特征在 于， 步骤A2中， 所述边缘意识增强的鉴别器以去噪渲染图与噪声渲染图对应的目标渲染图 作为输入， 输出各自的评 分， 用于鉴别输入图像的真假； 其包括拉普拉斯滤波器、 鉴别模块、 三个并行的卷积流模块和输出模块； 所述拉普拉斯滤波器用于对鉴别网络的输入进行滤波处理获得高频内容， 所述高频内 容与鉴别网络的输入按通道维度拼接后输入至鉴别模块； 所述鉴别模块的输出与三个并行 的卷积流模块相连， 所述 三个并行的卷积流模块的输出进行叠加后连接 输出模块。 9.如权利要求8所述的一种基于生成对抗网络的蒙特卡罗渲染图去噪方法， 其特征在 于， 所述鉴别模块包括依次相连的第六卷积层、 第五激活函数层、 第七卷积层、 第六激活函 数层、 第八卷积层、 第七激活函数层以及第九卷积层；权　利　要　求　书 2/3 页 3 CN 114331895 A 3