(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210370868.5 (22)申请日 2022.04.11 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 金晓辉　阮晓雯　陈远旭　 (74)专利代理 机构 深圳市沃德知识产权代理事 务所(普通 合伙) 44347 专利代理师 高杰　于志光 (51)Int.Cl. G16H 50/20(2018.01) G06F 16/332(2019.01) G06F 16/35(2019.01) G06F 40/30(2020.01)G06N 3/04(2006.01) (54)发明名称 角色对话模拟方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及自然语 言处理技术， 揭露了一种 角色对话模拟方法， 包括： 对对话语料进行角色 分类、 文本清洗， 得到不同角色对应的训练文本， 利用构建的预训练对话模型对训练文本进行位 置编码、 矩阵计算以及预测计算， 得到预测结果， 根据预测结果计算得到的相关度结果确定是否 停止训练， 若停 止训练， 则得到对话模型； 对用户 输入进行文本处理， 将处理后的文本输入对话模 型进行计算， 得到输出结果， 对输出结果进行重 复性筛选及采样， 得到目标输出结果， 根据输出 结果判断句子生成是否结束， 当句子生成结束 时， 对目标输 出结果进行拼接， 得到回复对话。 本 发明还提出一种角色对话模拟装置、 电子设备以 及存储介质。 本发明可以提高角色智能对话模拟 的灵活性。 权利要求书3页 说明书12页 附图4页 CN 114822812 A 2022.07.29 CN 114822812 A 1.一种角色对话模拟方法， 其特 征在于， 所述方法包括： 获取对话语料， 对所述对话语料进行角色分类、 文本清洗， 得到不同角色对应的训练文 本； 构建预训练对话模型， 并利用所述预训练对话模型对所述不同角色对应的训练文本进 行位置编码， 得到文本矩阵； 对所述文本矩阵进行矩阵计算及预测计算， 得到预测对话， 根据所述预测对话和所述 训练文本计算相关度结果， 并判断所述相关度结果是否大于预设阈值； 若所述相关度结果小于或等于所述阈值， 则更新所述文本矩阵， 并返回对所述文本矩 阵进行矩阵计算及预测计算的步骤； 若所述相关度结果大于所述阈值， 则停止训练， 得到对话模型； 根据预设条件确定所述对话模型的角色， 获取用户输入， 对所述用户输入进行文本处 理， 得到目标文本； 将所述目标文本输入所述对话模型中， 得到模型输出结果， 对所述模型输出结果进行 重复性筛 选及采样， 得到目标输出 结果， 并根据所述目标输出 结果判断句子生成是否结束； 若句子生成未 结束， 则返回将所述目标文本 输入所述对话模型中的步骤。 若句子生成结束， 则对所述目标输出 结果进行拼接， 得到回复对话。 2.如权利要求1所述的角色对话模拟方法， 其特征在于， 所述对所述对话语料进行角色 分类、 文本清洗， 得到不同角色对应的训练文本， 包括： 将所述对话语料输入预设的分类模型中， 得到对话语料对应的角色预测结果； 根据所述角色预测结果对所述对话语料进行分类， 得到每 个角色对应的语料； 剔除所述每 个角色对应的语料中的预设字符， 得到每 个角色对应的第一文本； 对所述第一文本进行语义识别， 计算语义识别结果与预设文本向量的距离值， 将距离 值小于预设阈值的语义识别结果所对应的文本删除， 得到每 个角色对应的第二文本； 分别将每 个角色对应的第二文本进行文本拼接， 得到每 个角色对应的训练文本 。 3.如权利要求2所述的角色对话模拟方法， 其特征在于， 所述分别将每个角色对应的第 二文本进行文本拼接， 得到每 个角色对应的训练文本， 包括： 从多个角色中选取一个角色作为目标角色， 将所述目标角色对应的第 二文本作为目标 文本； 根据所述目标文本计算得到平均句长， 并根据所述平均句长设置所述目标文本的长 度， 将设置好长度的目标文本进行 首尾拼接， 得到所述目标角色对应的训练文本 。 4.如权利要求1所述的角色对话模拟方法， 其特征在于， 所述构建预训练对话模型， 包 括： 将模型划分为四部分， 第 一部分为向量生成层， 第 二部分为第一向量处理层， 第 三部分 为第二向量处 理层， 第四部分为预测层； 在所述向量 生成层中添加位置编码结构及Embed ding结构； 在所述第一向量处理层中添加LayerNorm结构、 Masked  Multiself ‑Attention结构以 及残差连接结构； 在所述第二向量处 理层中添加LayerN orm结构、 F eed Forward结构以及残差连接结构； 在所述预测层中添加LayerN orm结构及预测函数。权　利　要　求　书 1/3 页 2 CN 114822812 A 25.如权利要求4所述的角色对话模拟方法， 其特征在于， 所述对所述文本矩阵进行矩阵 计算及预测计算， 得到预测对话， 包括： 利用所述第向量处理层对所述文本矩阵进行归一化、 注意力计算以及残差计算， 得到 第一向量矩阵； 利用所述第二向量处理层所述文本矩阵进行归一化、 前馈神经调节以及残差计算， 得 到第二向量矩阵； 利用所述预测层对所述第二向量矩阵进行归一化， 并将归一化的结果输入预测函数 中， 得到预测结果， 所述预测结果包括预测文字和结束符； 判断所述预测结果是 预测文字还是 结束符； 若所述预测结果是预测文字， 则返回利用所述第向量处理层对所述文本矩阵进行归一 化、 注意力计算以及残差计算， 得到第一向量矩阵的步骤； 若所述预测结果是 结束符， 则将所有的预测结果进行拼接， 得到预测对话。 6.如权利要求1所述的角色对话模拟方法， 其特征在于， 所述根据 所述预测对话和所述 训练文本计算相关度结果， 包括： 获取该预测对话所对应的角色之外其他角色的训练文本， 将所述其他角色的训练文本 作为对比文本； 根据所述对比文本生成对比矩阵， 对所述对比矩阵进行线性化处理， 得到第一线性向 量； 对所述第一线性向量进行特征压缩， 得到第二线性向量， 在所述第二线性向量中提取 与所述预测对话对应的字 向量的相关度， 将所述相关度结果输入预设的概率输出函数中， 得到相关度结果。 7.如权利要求1至6中任一项所述的角色对话模拟方法， 其特征在于， 所述对所述模型 输出结果进行重复性筛 选及采样， 得到目标输出 结果， 包括： 获取上一个结束符 之后所述对话模型的所有输出 结果； 将所述模型输出 结果与所述所有输出 结果进行重复性检测； 若出现重复的输出结果， 则根据预设的重复性惩罚在所述对话模型中去除所述重复的 输出结果， 并利用所述对话模型重新生成模型输出结果， 并返回将所述模型输出结果与所 述所有输出 结果进行重复性检测的步骤； 若未出现重复的输出结果， 则在所述模型输出结果中进行随机采样， 将采样结果作为 目标输出 结果。 8.一种角色对话模拟装置， 其特 征在于， 所述装置包括： 文本生成模块， 用于获取对话语料， 对所述对话语料进行角色分类、 文本清洗， 得到不 同角色对应的训练文本， 以及根据预设条件确定所述对话模型的角色， 获取用户输入， 对所 述用户输入进行文本处 理， 得到目标文本； 文本矩阵生成模块， 用于构建预训练对话模型， 并利用所述预训练对话模型对所述不 同角色对应的训练文本进行位置编码， 得到文本矩阵； 模型训练模块， 用于对所述文本矩阵进行矩阵计算及预测计算， 得到预测对话， 根据 所 述预测对话和所述训练文本计算相关度结果， 并判断所述相关度结果是否大于预设阈值； 若所述相关度结果小于或等于所述阈值， 则更新所述文本矩阵， 并返回对所述文本矩阵进权　利　要　求　书 2/3 页 3 CN 114822812 A 3