(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210443213.6 (22)申请日 2022.04.25 (30)优先权数据 63/186,198 2021.0 5.10 US 17/722,771 2022.04.18 US (71)申请人 联发科技股份有限公司 地址 中国台湾新竹市新竹科 学园区笃 行一 路一号 (72)发明人 陈志玮　丛培贵　王耀笙　林俊辰　 林嘉庆　 (74)专利代理 机构 北京市万慧达律师事务所 11111 专利代理师 白华胜 (51)Int.Cl. H04N 5/232(2006.01)G06T 5/00(2006.01) (54)发明名称 滑动变焦效果的产生方法和系统 (57)摘要 本发明提供滑动变焦效果的产生方法和系 统， 可生成逼真图像。 在一个实施例中， 本发明的 滑动变焦效果的方法可包括： 在 主位置捕捉主图 像， 该主图像至少包括给定尺 寸的前景对象和背 景； 基于要应用于该背景的放大因子和前景对象 的估计尺 寸来计算一个或多个侧视图位置； 引导 用户在该一个或多个侧视图位置捕捉一个或多 个侧视图图像； 将该给定尺寸的前景对象叠加到 放大的该背景上； 和使用来自该一个或多个测试 图图像的侧视图信息对该叠加后的图像执行图 像修复。 权利要求书2页 说明书7页 附图8页 CN 115334233 A 2022.11.11 CN 115334233 A 1.一种滑动变焦效果的产生方法， 其特 征在于， 包括： 在主位置捕捉主图像， 该主图像至少包括给定尺寸的前 景对象和背景； 基于要应用于该背景的放大因子和前景对象的估计尺寸来计算一个或多个侧视图位 置； 引导用户在该一个或多个侧视图位置捕捉 一个或多个侧视图 图像； 将该给定尺寸的前 景对象叠加到放大的该背景 上； 和 使用来自该一个或多个侧视图 图像的侧视图信息对该叠加后的图像执 行图像修复。 2.如权利要求1所述的滑动变焦效果的产生方法， 其特征在于， 该计算一个或多个侧视 图位置进一 步包括： 基于该放大因子和该 前景对象的估计宽度计算该主位置和该侧视图位置之间的距离 。 3.如权利要求2所述的滑动变焦效果的产生方法， 其特 征在于， 还 包括： 在该主位置右侧相较于该主视图具有计算的该距离的第一侧视图位置捕捉第一侧视 图图像； 和 在该主位置左侧相较于该主视图具有计算的该距离的第二侧视图位置捕捉第二侧视 图图像。 4.如权利要求1所述的滑动变焦效果的产生方法， 其特征在于， 该主图像和该一个或多 个侧视图 图像是用相同的焦距捕捉的。 5.如权利要求1所述的滑动变焦效果的产生方法， 其特 征在于， 还 包括： 基于从用户接口接收到的用户输入来确定该背景的该放大因子 。 6.如权利要求1所述的滑动变焦效果的产生方法， 其特 征在于， 还 包括： 显示对该主位置和该侧视图位置之间的距离的指示； 和 指示用户已到 达该侧视图位置 。 7.如权利要求1所述的滑动变焦效果的产生方法， 其特 征在于， 还 包括： 使用经过训练的神经网络为该主图像和该一个或多个侧视图图像中的每一个生成相 应的深度图； 和 根据该深度图识别该 前景对象和该背景。 8.如权利要求1所述的滑动变焦效果的产生方法， 其特 征在于， 还 包括： 在拍摄该主图像和该一个或多个侧视图 图像中的每一个时获得相应的深度图； 和 使用经过训练的神经网络根据该深度图识别该 前景对象和该背景。 9.如权利要求1所述的滑动变焦效果的产生方法， 其特征在于， 该执行图像修复还包 括： 使用经过训练 的神经网络执行图像修复， 以使用从该一个或多个侧视图图像中获得的 侧视图信息填充与该 前景对象相邻的背景区域。 10.如权利要求1所述的滑动变焦效果的产生方法， 其特征在于， 该主图像为第 一图像， 该方法还包括： 使用减小的焦距拍摄第二图像， 该第二图像包括该 前景对象和缩小的该背景； 和 将从该主图像中提取的给定尺寸的该 前景对象叠加到该缩小的背景 上。 11.一种用于产生滑动变焦效果的系统， 其特 征在于， 包括： 摄像机， 用于在主位置捕捉主图像， 该主图像至少包括给定尺寸的前 景对象和背景；权　利　要　求　书 1/2 页 2 CN 115334233 A 2处理硬件； 和 存储指令的存 储器， 当该处 理硬件执 行这些指令时， 会导 致该处理硬件执 行如下操作： 基于要应用于该背景的放大因子和前景对象的估计尺寸来计算一个或多个侧视图位 置； 引导用户在该一个或多个侧视图位置捕捉 一个或多个侧视图 图像； 将该给定尺寸的前 景对象叠加到放大的该背景 上； 和 使用来自该一个或多个测试图 图像的侧视图信息对该叠加后的图像执 行图像修复。 12.如权利要求1 1所述的产生滑动变焦效果的系统， 其特 征在于， 该处 理硬件还用于： 基于该放大因子和该 前景对象的估计宽度计算该主位置和该侧视图位置之间的距离 。 13.如权利要求12所述的产生滑动变焦效果的系统， 其特征在于， 该一个或多个侧视图 图像包括在第一侧视图位置捕捉的第一侧视图图像以及在第二侧视图位置捕捉的第二侧 视图图像， 其中该第一侧视图位置位于该主位置右侧且到该主位置具有计算的该距离， 该 第二侧视图位置位于该主位置左侧且到该主位置具有计算的该距离 。 14.如权利要求11所述的产生滑动变焦效果的系统， 其特征在于， 该主图像和该一个或 多个侧视图 图像是用相同的焦距捕捉的。 15.如权利要求11所述的产生滑动变焦效果的系统， 其特征在于， 还包括用于接收用户 输入的用户接口， 其中该处 理硬件进一 步用于： 根据该用户输入确定该背景的该放大因子 。 16.如权利要求11所述的产生滑动变焦效果的系统， 其特征在于， 还包括用户接口， 该 用户接口可操作以显示对该主位置和该侧视图位置之 间的距离的指示， 并且指示用户已经 到达该侧视图位置 。 17.如权利要求1 1所述的产生滑动变焦效果的系统， 其特 征在于， 还 包括： 存储在存储器 中的经过训练 的神经网络， 经过训练 的该神经网络用于为该主图像和该 一个或多个侧视图 图像中的每一个生成相应的深度图。 18.如权利要求1 1所述的产生滑动变焦效果的系统， 其特 征在于， 还 包括： 深度感测摄像机， 用于在捕捉该主图像和该一个或多个侧视图图像中的每一个时捕捉 相应的深度图。 19.如权利要求1 1所述的产生滑动变焦效果的系统， 其特 征在于， 还 包括： 存储在存储器 中的经过训练 的神经网络， 经过训练 的该神经网络用于使用从该一个或 多个侧视图 图像获得的侧视图信息执 行图像修复以填充与该 前景对象相邻的背景区域。 20.如权利要求11所述的产生滑动变焦效果的系统， 其特征在于， 该主图像为第一图 像， 该摄像机还用于： 使用减小的焦距拍摄第二图像， 该第二图像包括该 前景对象和缩小的该背景， 以及 其中该处理硬件进一步用于将从该主图像中提取的给定尺寸的前景对象叠加到该缩 小的背景 上。权　利　要　求　书 2/2 页 3 CN 115334233 A 3