(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210294058.6 (22)申请日 2022.03.23 (71)申请人 网易(杭州)网络有限公司 地址 310052 浙江省杭州市滨江区网商路 599号网易大厦 (72)发明人 郑一星　毕梦霄　吕唐杰　范长杰　 胡志鹏　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 高燕 (51)Int.Cl. G06T 13/40(2011.01) G06K 9/62(2022.01) G06F 40/30(2020.01) G10L 25/63(2013.01)G06V 40/16(2022.01) (54)发明名称 虚拟角色的表情生 成方法、 装置以及计算机 设备 (57)摘要 本发明提供了一种虚拟角色的表情生成方 法、 装置以及计算机设备， 涉及游戏技术领域， 缓 解了通过现有技术生成的虚拟角色表情的表现 效果较差的技术问题。 该方法包括： 获取待生成 表情的语音数据， 并对语音数据进行分析， 得到 语音数据的语义数据、 情感数据以及节奏数据； 根据节奏数据和情感数据从节奏类表情库中确 定目标节 奏表情数据； 根据语义数据和情感数据 从情感类表情库中确定目标情感表情数据； 基于 目标节奏表情数据和目标情感表情数据进行融 合， 得到虚拟角色在发出语音数据过程中的表情 结果。 权利要求书3页 说明书17页 附图6页 CN 114663559 A 2022.06.24 CN 114663559 A 1.一种虚拟角色的表情生成方法， 其特征在于， 针对所述虚拟角色的表情对应预设有 节奏类表情库以及情感类表情库， 所述节奏类表情库中包含节奏表情数据， 所述情感类表 情库中包 含情感表情数据； 包括： 获取待生成表情的语音数据， 并对所述语音数据进行分析， 得到所述语音数据的语义 数据、 情感数据以及节奏数据； 根据所述节奏数据和所述情感数据从所述节奏类表情库中确定目标节奏表情数据； 根据所述语义数据和所述情感数据从所述情感类表情库中确定目标情感表情数据； 基于所述目标节奏表情数据和所述目标情感表情数据进行融合， 得到所述虚拟角色在 发出所述语音数据过程中的表情结果。 2.根据权利要求1所述的虚拟角色的表情生成方法， 其特征在于， 所述节奏类表情库中 的所述节奏表情数据和所述情感数据的至少一种情感种类之间对应有映射关系； 所述根据 所述节奏数据和所述情感数据从所述节奏类表情库中确定目标节奏表情数据， 包括： 根据所述节奏数据确定所述语音数据中的关键词以及音频节奏Onset； 利用所述映射关系从所述节奏类表情库中确定目标情感种类对应的目标节奏表情数 据， 并将所述关键词和所述Onset在所述语音数据中对应的位置确定为插入所述目标节奏 表情数据的目标位置； 其中， 所述 目标情感种类为在所述语音数据中所述 目标位置处对应 的所述情感数据的情感种类。 3.根据权利要求1所述的虚拟角色的表情生成方法， 其特征在于， 所述节奏数据包括下 述任意一项或多 项： 所述语音数据的音量、 音调、 语速以及音频节奏Onset。 4.根据权利要求2所述的虚拟角色的表情生成方法， 其特征在于， 所述节奏数据包括所 述语音数据的音量、 音调以及语速； 所述根据所述节奏数据确定所述语音 数据中的关键词， 包括： 将所述音量、 所述音调以及所述语速突出的词语确定为所述语音数据中的关键词。 5.根据权利要求2所述的虚拟角色的表情生成方法， 其特征在于， 所述节奏数据包括所 述语音数据的音量、 音调以及语速； 所述利用所述映射关系从所述节奏类表情库中确定目 标情感种类对应的目标节奏表情数据， 包括： 利用所述映射关系从所述节奏类表情库中确定所述目标情感种类对应的原始节奏表 情数据； 根据所述音量和所述音调对所述原始节奏表情数据的表情动作幅度进行缩放调 整， 并 根据所述语速对所述原始节奏表情数据的表情持续长度进 行缩放调整， 得到所述目标情感 种类对应的目标节奏表情数据。 6.根据权利要求2所述的虚拟角色的表情生成方法， 其特征在于， 所述基于所述目标节 奏表情数据和所述目标情感表情数据进行融合， 得到所述虚拟角色在发出所述语音数据过 程中的表情结果， 包括： 将所述目标节奏表情数据插入至所述目标情感表情数据中的待插入位置， 得到所述目 标节奏表情数据和所述 目标情感表情数据的融合结果； 其中， 所述待插入位置为所述 目标 位置在所述目标情感表情数据中对应的位置； 基于所述融合结果得到所述虚拟角色在发出 所述语音数据过程中的表情结果。权　利　要　求　书 1/3 页 2 CN 114663559 A 27.根据权利要求1所述的虚拟角色的表情生成方法， 其特征在于， 所述情感数据的情感 种类有多种， 所述情感表情数据包含静态情感表情数据和动态情感表情数据； 所述根据所 述语义数据和所述情感数据从所述情感类表情库中确定目标情感表情数据， 包括： 根据所述语义数据和多种所述情 感种类的所述情感数据， 从所述情 感类表情库中确定 多个目标静态情感表情数据； 根据多个所述目标静态情感表情数据中每个在所述语音数据中相邻的所述目标静态 情感表情数据之间的情感种类变化方式， 从所述情感类表情库中确定目标动态情感表情数 据； 将所述目标动态情感表情数据确定为多个所述目标静态情感表情数据之间的过渡情 感表情数据， 以使每个在所述语音数据中相 邻的所述目标静态情感表情数据之 间通过所述 过渡情感表情数据衔接； 基于所述过渡情感表情数据和多个所述目标静态情感表情数据， 确定目标情感表情数 据。 8.根据权利要求7所述的虚拟角色的表情生成方法， 其特征在于， 针对所述虚拟角色的 表情还对应预设有语义类表情库， 所述语义类表情库中包含语义表情数据； 所述根据所述 语义数据和多种所述情感种类的所述情感数据， 从所述情感类表情库中确定多个目标静态 情感表情数据， 包括： 针对所述情 感数据的每种所述情 感种类， 根据所述情 感种类从所述情感类表情库中确 定原始静态情感表情数据； 通过语义检索的方式确定所述语义数据中的语义内容， 并根据 所述语义内容从所述语 义类表情库中确定目标语义表情数据； 将所述目标语义表情数据插入至所述语义内容在所述原始静态情感表情数据中对应 的位置处， 得到目标静态情感表情数据。 9.根据权利要求1所述的虚拟角色的表情生成方法， 其特征在于， 所述对所述语音数据 进行分析， 得到所述语音数据的语义数据、 情感数据以及节奏数据， 包括： 对所述语音数据进行语音 文字识别， 得到所述语音数据的语义数据； 对所述语音数据进行语音情感分析， 得到所述语音数据的情感数据； 对所述语音数据进行语音特 征提取， 得到所述语音数据的节奏数据。 10.根据权利要求1所述的虚拟角色的表情生成方法， 其特征在于， 所述基于所述目标 节奏表情数据和所述目标情感表情数据进 行融合， 得到所述虚拟角色在发出所述语音 数据 过程中的表情结果， 包括： 将所述目标节奏表情数据的表情参数和所述目标情感表情数据的表情参数进行叠加， 得到所述虚拟角色在发出 所述语音数据过程中的表情结果。 11.根据权利要求1所述的虚拟角色的表情生成方法， 其特征在于， 所述基于所述目标 节奏表情数据和所述目标情感表情数据进 行融合， 得到所述虚拟角色在发出所述语音 数据 过程中的表情结果， 包括： 确定所述语音数据对应的随机无意识 表情数据； 基于所述目标节奏表情数据、 所述目标情感表情数据以及所述随机无意识表情数据进 行融合， 得到所述虚拟角色在发出 所述语音数据过程中的表情结果。权　利　要　求　书 2/3 页 3 CN 114663559 A 3