(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210232057.9 (22)申请日 2022.03.09 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田街道福安 社区益田路5 033号平安金融 中心23楼 (72)发明人 陈浩　 (74)专利代理 机构 北京中强智尚知识产权代理 有限公司 1 1448 专利代理师 刘敏 (51)Int.Cl. G06F 40/211(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06F 16/335(2019.01) G06F 16/9535(2019.01) G06Q 30/06(2012.01) (54)发明名称 句子向量生成方法、 装置、 计算机设备及存 储介质 (57)摘要 本申请公开了句子向量生成方法、 装置、 计 算机设备及存储介质， 涉及人工智能技术领域， 可以提升句子向量生成的准确性。 其中方法包 括： 对获取到的初始句子文本进行语义分割， 得 到分割后的句子文本； 利用预先构建的句子向量 生成模型， 通过用于预测所述句子文本上下文的 编码处理， 得到所述句子文本的向量表示， 所述 句子向量生成模型为训练好的序列到序列模型 的编码层。 本申请适用于基于图书文本句子向量 的图书推荐。 权利要求书2页 说明书10页 附图3页 CN 114444471 A 2022.05.06 CN 114444471 A 1.一种句子向量 生成方法， 其特 征在于， 包括： 对获取到的初始句子文本进行语义分割， 得到分割后的句子文本； 利用预先构建的句子向量生成模型， 通过用于预测所述句子文本上下文的编码处理， 得到所述句子文本的向量表示， 所述句子向量生成模型为训练好的序列到序列模型的编码 层； 其中， 所述训练好的序列到序列模型通过 下述步骤得到： 利用初始序列到序列模型， 对构建的句子样本集中的上下文句子对序列中的当前句子 进行编码处 理和上下文解码处 理， 得到所述当前句子的上文预测句子和下文预测句子； 根据上文预测句子和下文预测句子， 得到训练好的序列到序列模型。 2.根据权利要求1所述的方法， 其特征在于， 所述根据上文预测句子和下文预测句子， 得到训练好的序列到序列模型的步骤， 具体包括： 根据所述当前句子的上文预测句子和下文预测句子， 利用目标损失函数对所述初始序 列到序列模型进行训练， 得到训练好的序列到序列模型； 其中， 所述目标损失函数 是根据第一损失函数与第二损失函数之和 确定的。 3.根据权利要求1或2所述的方法， 其特 征在于， 所述上 下文句子对序列具体包括： 用于输入至所述初始序列到序列模型的编码层进行 上下文句子预测的当前句子； 以及， 用于训练所述初始序列到序列模型输出结果的上文目标句子和下文目标句子， 所述输出 结果为模型训练过程中输出的上文预测句子和下文预测句子 。 4.根据权利要求1所述的方法， 其特征在于， 所述利用 初始序列到序列模型， 对构建的 句子样本集中的上下文句子对序列中的当前句子进行编 码处理和上下文解码处理， 得到所 述当前句子的上文预测句子和下文预测句子的步骤， 具体包括： 根据所述上下文句子对序列， 利用分词工具进行分词处理得到分词后的上下文句子对 序列； 根据所述分词后的上下文句子对序列中的当前句子， 利用所述初始序列到序列模型的 编码层， 得到所述当前句子的句子嵌入向量； 根据所述当前句子的句子嵌入向量， 利用所述初始序列到序列模型中并行设置的两个 解码层， 分别得到上文预测句子和下文预测句子； 其中， 所述两个解码层是指用于预测上文的第一解码层， 以及用于预测下文的第二解 码层。 5.根据权利要求4所述的方法， 其特征在于， 所述用于预测上文的第一解码层为第一 GRU模型， 所述用于预测下文的第二解码层为第二GRU模型， 所述根据所述当前句子的句子 嵌入向量， 利用所述初始序列到序列模型中并行设置的两个解码层， 分别得到上文预测句 子和下文预测句子的步骤， 具体包括： 将所述当前句子的句子嵌入向量分别作为第一GRU模型中重置门、 更新门和候选记忆 单元的输入数据， 通过解码处 理得到当前句子的上文预测句子； 将所述当前句子的句子嵌入向量作为第二GRU模型的输入数据， 通过解码处理得到当 前句子的下文预测句子 。 6.根据权利要求2或4所述的方法， 其特征在于， 所述目标损 失函数中的第一损 失函数 是基于用于预测上文的第一解码层设定的， 所述目标损失函数中的第二损失函数是基于用权　利　要　求　书 1/2 页 2 CN 114444471 A 2于预测下文的第二 解码层设定的。 7.根据权利要求1所述的方法， 其特征在于， 所述利用所述句子向量生成模型， 通过用 于预测所述句 子文本上下文的编码处理， 得到所述句 子文本的向量表示的步骤之后， 还包 括： 计算所述句子文本的向量表示与预设图书样本库中的句子嵌入向量之间的相似度值； 根据所述预设图书样本库中相似度值满足预设条件的句子嵌入向量， 生成所述句子文 本的图书推荐信息； 其中， 所述预设图书样本库中的句子嵌入向量是利用所述句子向量生成模型输出得到 的。 8.一种句子向量 生成装置， 其特 征在于， 包括： 模型训练模块， 可以用于利用 初始序列到序列模型， 对构建的句子样本集中的上下文 句子对序列中的当前句子进行编码处理和上下文解码处理， 得到所述当前句子的上文 预测 句子和下文 预测句子； 以及， 根据上文 预测句子和下文 预测句子， 得到训练好的序列到序列 模型； 预处理模块， 用于对获取到的初始句子文本进行语义分割， 得到分割后的句子文本； 编码模块， 用于利用预先构建的句子向量生成模型， 通过用于预测所述句子文本上下 文的编码处理， 得到所述句 子文本的向量表示， 所述句 子向量生成模型为训练好的序列到 序列模型的编码层。 9.一种计算机设备， 包括存储介质、 处理器及存储在存储介质上并可在处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述程序时实现权利要求1至7中任一项所述 的句子向量 生成方法。 10.一种存储介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理器执行时实 现权利要求1至7中任一项所述的句子向量 生成方法。权　利　要　求　书 2/2 页 3 CN 114444471 A 3