(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210220427.7 (22)申请日 2022.03.08 (71)申请人 阿里巴巴 （中国） 有限公司 地址 310056 浙江省杭州市滨江区长河街 道网商路69 9号4号楼5楼5 08室 (72)发明人 张通　杨宝嵩　任星彰　刘大一恒 　 张海波　谢军　 (74)专利代理 机构 北京同钧律师事务所 16 037 专利代理师 李小波　许怀远 (51)Int.Cl. G06F 40/58(2020.01) G06F 40/284(2020.01) G06F 40/30(2020.01) (54)发明名称 文本翻译 模型的训练方法、 设备及存 储介质 (57)摘要 本申请提供一种文本翻译模 型的训练方法、 设备及存储介质， 其中训练方法包括： 通过接收 来自客户端的包含多对自然语言文本的文本训 练样本集， 基于词级别的对比学习， 同时结合自 然语言文本的词频信息， 对文本翻译模的模型参 数进行优化， 通过多轮训练， 直至文本翻译模型 的损失函数收敛时， 获取最终的文本翻译模型， 文本翻译模型用于将一种自然语言文本翻译成 另一种自然语 言文本。 由于上述训练过程可基于 词频信息优化文本翻译模型的模 型参数， 从而优 化不同词频的词的语义空间表 示， 增强模型对输 入文本的语义表达能力， 提高机器翻译模型的性 能。 权利要求书2页 说明书13页 附图4页 CN 114580444 A 2022.06.03 CN 114580444 A 1.一种文本翻译模型的训练方法， 其特 征在于， 包括： 接收来自客户端的文本训练样本集， 所述文本训练样本集包括多对自然语言文本， 每 对自然语言文本包括含义相同的第一自然语言文本以及第二自然语言文本； 根据所述文本训练样本集中自然语言文本的词频信 息， 对初始文本翻译模型的模型参 数进行优化， 直至所述文本翻译模型的损失函数收敛时， 获取最 终的文本翻译模 型； 所述词 频信息用于指示自然语言文本中每个词在所述文本训练样本集的出现次数， 所述文本翻译 模型用于将所述第一自然语言文本翻译成所述第二自然语言文本 。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述文本训练样本集中自然语言 文本的词频信息， 对初始文本翻译模型的模型参数进行优化， 包括： 从所述文本训练样本集中随机 选取至少一对自然语言文本； 将所述至少一对自然语言文本的第一自然语言文本作为所述初始文本翻译模型的输 入， 将所述至少一对自然语言文本的第二自然语言文本作为所述初始文本翻译模型的输 出； 根据所述至少一对自然语言文本的第二自然语言文本中每个词在所述文本训练样本 集的出现次数， 对所述初始文本翻译模型的模型参数进行优化。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述至少一对自然语言文本的第 二自然语言文本中每个词在所述文本训练样本集的词频信息， 对所述初始文本翻译模型的 模型参数进行优化， 包括： 获取所述至少一对自然语言文本的第二自然语言文本中目标词的正例样本词以及负 例样本词， 所述目标词为所述第二自然语言文本中的任意 一个词； 根据所述目标词、 所述目标词的正例 样本词以及负例 样本词在所述文本训练样本集的 出现次数， 对所述初始文本翻译模型的模型参数进行优化。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述目标词、 所述目标词的正例 样本词以及负例样本词在所述文本训练样本集的出现次数， 对所述初始文本翻译模型的模 型参数进行优化， 包括： 根据所述目标词、 所述目标词的正例 样本词以及负例 样本词在所述文本训练样本集的 出现次数， 调整 所述目标词与所述正例样本词之间的隐层表示间隔以及所述目标词与所述 负例样本词之间的隐层表示间隔， 所述隐层表示间隔用于指示两个词在表示空间的距离； 获取优化后的文本翻译模型的模型参数。 5.根据权利要求3所述的方法， 其特征在于， 获取所述至少一对自然语言文本的第 二自 然语言文本中目标词的正例样本词， 包括： 将所述至少一对自然语言文本的第二自然语言文本中与所述目标词相同的词作为所 述目标词的正例样本词； 和/或 通过随机丢弃所述文本翻译模型中的部分神经网络节点， 获取所述目标词的正例样本 词。 6.根据权利要求3所述的方法， 其特征在于， 获取所述至少一对自然语言文本的第 二自 然语言文本中目标词的负例样本词， 包括： 将所述至少一对自然语言文本的第二自然语言文本中与所述目标词不同的词作为所 述目标词的负例样本词。权　利　要　求　书 1/2 页 2 CN 114580444 A 27.根据权利要求1 ‑6中任一项所述的方法， 其特征在于， 所述文本翻译模型的损失函数 包括第一损失函数和第二损失函数； 其中， 所述第 一损失函数是根据所述文本翻译模型的预测概率分布以及所述至少一对 自然语言文本的第二自然语言文本确定的； 所述第二损失函数是根据所述至少一对自然语言文本的第 二自然语言文本 中每个词、 所述每个词的正例样本词以及负例样本词在所述文本翻译模型的隐层表示， 以及任意两个 词之间的词频权 重确定的。 8.根据权利要求7 所述的方法， 其特 征在于， 所述任意两个词之间的词频权重是根据所述任意两个词的每个词在所述文本训练样 本集的词频信息确定的。 9.一种电子设备， 其特征在于， 包括： 存储器， 处理器以及计算机程序； 所述计算机程序 存储在所述存储器中， 并被配置为由所述处理器执行以实现如权利要求1 ‑8中任一项所述 的方法。 10.一种计算机可读存储介质， 其特征在于， 其上存储有计算机程序， 所述计算机程序 被处理器执行以实现如权利要求1 ‑8中任一项所述的方法。 11.一种计算机程序产品， 包括计算机程序， 所述计算机程序被处理器执行时实现如权 利要求1‑8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114580444 A 3