(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210260307.X (22)申请日 2022.03.16 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518000 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 牟文晶　 (74)专利代理 机构 深圳市隆天联鼎知识产权代 理有限公司 4 4232 专利代理师 徐明霞 (51)Int.Cl. G06F 16/34(2019.01) G06F 40/30(2020.01) G06F 40/194(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 摘要提取模 型的训练方法、 文本摘要生 成方 法及相关 设备 (57)摘要 本申请属于计算机技术领域， 具体涉及一种 摘要提取模 型的训练方法、 文本摘要生成方法及 相关设备。 本发明实施例可应用于云技术、 人工 智能、 智慧交通、 辅助驾驶等各种 场景。 该方法包 括： 获取对摘要提取模型进行训练的第一损失函 数； 根据编码器的训练参数周期性地更新辅助编 码器的训练参数； 计算文本样 本的文本编码与对 应的摘要样 本的摘要编码的第一相似度， 计算文 本样本的文本编码与其他摘要样本的摘要编码 的第二相似度， 并根据第一相似度和第二相似度 确定第二损失函数； 通过第一损失函数和第二损 失函数共同对摘要提取模型进行训练。 基于本申 请能够提升摘要提取模型的文本摘要生成准确 性， 使得生成的文本摘要与原始的待处理文本的 语义更为贴合。 权利要求书3页 说明书16页 附图9页 CN 114610869 A 2022.06.10 CN 114610869 A 1.一种摘要提取模型的训练方法， 其特征在于， 所述摘要提取模型包括编码器和解码 器， 所述摘要提取模型用于通过编 码器对待处理文本或文本样本进行语义编码生成文本编 码， 并通过解码器对所述文本编码进行解码得到文本摘要， 所述方法包括： 根据训练数据集对所述摘要提取模型进行训练， 得到第 一损失函数和所述编码器的训 练参数， 所述训练数据集包括多个文本样本和各个所述文本样本分别对应的摘要样本； 根据所述编码器的训练参数对辅助编码器进行参数初始化， 并根据所述编码器的训练 参数周期性地更新所述辅助编 码器的训练参数， 所述辅助编码器用于辅助所述摘要提取模 型的训练； 将各个所述摘要样本输入到所述辅助编码器中进行语义编码， 得到所述摘要样本的摘 要编码； 计算所述文本样本的文本编码与所述文本样本对应的摘要样本的摘要编码的第一相 似度， 计算所述文本样本的文本编 码与所述训练数据集中的多个其他文本样本 分别对应的 摘要样本的摘要编 码的第二相似度， 并根据所述第一相似度和所述第二相似度确定第二损 失函数； 通过所述第一损失函数和所述第二损失函数共同对所述摘要提取模型进行训练。 2.根据权利要求1所述的训练方法， 其特征在于， 将各个所述摘要样本输入到所述辅助 编码器中进行语义编码， 得到所述摘要样本的摘要编码， 包括： 将当前训练轮次的摘要样本输入到所述辅助编码器中， 得到所述当前训练轮次的摘要 样本对应的样本编码； 所述计算所述文本样本的文本编码与所述文本样本对应的摘要样本的摘要编码 的第 一相似度， 包括： 计算当前训练轮次的文本样本的文本编码与当前训练轮次的摘要样本的摘要编码 的 第一相似度； 将当前训练轮次的摘要样本的摘要编码存 入存储队列。 3.根据权利要求2所述的训练方法， 其特征在于， 所述计算所述文本样本的文本编码与 所述训练数据集中的多个其他文本样本 分别对应的摘要样本的摘要编 码的第二相似度， 包 括： 从所述存储队列中选取当前训练轮次之前的训练轮次中存入所述存储队列的多个摘 要编码； 计算所述当前训练轮次的文本样本的文本编码分别与当前训练轮次之前的训练轮次 中存入所述存 储队列的多个摘要编码的第二相似度。 4.根据权利要求1所述的训练方法， 其特征在于， 所述根据 所述编码器的训练参数周期 性地更新所述辅助编码器的训练参数， 包括： 周期性地读取所述编码器的训练参数； 将所述编码器的训练参数与 所述辅助编码器的训练参数进行加权求和， 得到参数更新 值； 根据所述 参数更新值更新所述辅助编码器的训练参数。 5.根据权利要求1所述的训练方法， 其特征在于， 所述通过所述第 一损失函数和所述第 二损失函数共同对所述摘要提取模型进行训练， 包括：权　利　要　求　书 1/3 页 2 CN 114610869 A 2对所述第一损失函数和所述第二损失函数进行加权求和得到综合损失函数； 通过所述综合损失函数对所述摘要提取模型进行训练。 6.根据权利要求1所述的训练方法， 其特征在于， 所述根据 所述第一相似度和所述第 二 相似度确定第二损失函数， 包括： 对所述第一相似度与多个所述第二相似度进行求和运 算， 得到求和数值； 获取所述第一相似度与所述 求和数值的比值； 根据所述比值确定所述第二损 失函数， 其中， 所述第二损 失函数与所述比值具有负相 关的关系。 7.一种摘要生成方法， 其特 征在于， 所述方法包括： 初始化摘要提取模型， 所述摘要提取模型包括编码器和解码器， 所述摘要提取模型用 于通过编 码器对待处理文本或文本样本进 行语义编 码生成文本编 码， 并通过解码 器对所述 文本编码进行解码得到文本摘要； 根据训练数据集对所述摘要提取模型进行训练， 得到第 一损失函数和所述编码器的训 练参数， 所述训练数据集包括多个文本样本和各个所述文本样本分别对应的摘要样本； 根据所述编码器的训练参数对辅助编码器进行参数初始化， 并根据所述编码器的训练 参数周期性地更新所述辅助编 码器的训练参数， 所述辅助编码器用于辅助所述摘要提取模 型的训练； 将各个所述摘要样本输入到所述辅助编码器中进行语义编码， 得到所述摘要样本的摘 要编码； 计算所述文本样本的文本编码与所述文本样本对应的摘要样本的摘要编码的第一相 似度， 计算所述文本样本的文本编 码与所述训练数据集中的多个其他文本样本 分别对应的 摘要样本的摘要编 码的第二相似度， 并根据所述第一相似度和所述第二相似度确定第二损 失函数； 通过所述第一损失函数和所述第二损失函数共同对所述摘要提取模型进行训练； 将待处理文本输入到训练完成的摘要提取模型中， 得到所述待处理文本对应的文本摘 要。 8.一种摘要提取模型的训练装置， 其特征在于， 所述摘要提取模型包括编码器和解码 器， 所述摘要提取模型用于通过编 码器对待处理文本或文本样本进行语义编码生成文本编 码， 并通过解码器对所述文本编码进行解码得到文本摘要， 所述装置包括： 第一损失函数确定模块， 被配置为根据训练数据集对所述摘要提取模型进行训练， 得 到第一损失函数和所述编 码器的训练参数， 所述训练数据集包括多个文本样本和各个所述 文本样本分别对应的摘要样本； 训练参数更新模块， 被配置为根据 所述编码器的训练参数对辅助编码器进行参数初始 化， 并根据所述编码器的训练参数周期性地更新所述辅助编码器的训练参数， 所述辅助编 码器用于 辅助所述摘要提取模型的训练； 辅助编码器编码模块， 被配置为将各个所述摘要样本输入到所述辅助编码器中进行语 义编码， 得到所述摘要样本的摘要编码； 第二损失函数确定模块， 被配置为计算所述文本样本的文本编码与 所述文本样本对应 的摘要样本的摘要编码的第一相似度， 计算所述文本样本的文本编 码与所述训练数据集中权　利　要　求　书 2/3 页 3 CN 114610869 A 3