(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210179812.1 (22)申请日 2022.02.25 (71)申请人 阿里云计算有限公司 地址 310024 浙江省杭州市西湖区转塘科 技经济区块12号 (72)发明人 汪诚愚　邱明辉　黄俊　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 王茹 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/284(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 模型训练方法、 计算机 设备及计算机可读存 储介质 (57)摘要 本说明书一个或多个实施例提供一种模型 训练方法、 计算机设备及计算机可读存储介质， 所述模型训练方法包括： 获取待训练模型； 获取 第一数据集； 利用所述第一数据集对 所述待训练 模型进行训练； 其中， 所述第一数据集中第一数 据为文本， 所述第一数据中提供有掩蔽标记以及 至少两个候选项， 所述至少两个候选项的其中一 个候选项用于提示所述掩蔽标记对应的单词， 以 使所述待训练模型在所述至少两个候选项的提 示下， 在预测所述掩蔽标记对应的单词时从所述 至少两个候选项中进行选择。 权利要求书2页 说明书12页 附图3页 CN 114610878 A 2022.06.10 CN 114610878 A 1.一种模型训练方法， 所述方法包括： 获取预训练模型； 获取第一数据集； 利用所述第一数据集对所述预训练模型进行训练； 其中， 所述第一数据集中第一数据 为文本， 所述第一数据中提供有掩蔽标记以及至少 两个候选项， 所述至少 两个候选项的其 中一个候选项用于提示所述掩蔽标记对应的单词， 以使所述预训练模型在所述至少两个候 选项的提 示下， 在预测所述掩蔽标记对应的单词时从所述至少两个候选项中进行选择； 存储训练好的模型， 所述训练好的模型应用于下游任务。 2.根据权利要求1所述的方法， 所述训练好的模型应用于下游任务的小样本学习场景。 3.根据权利要求1所述的方法， 所述方法还 包括： 接收用户发起的模型训练请求， 所述模型训练请求包括用户提供的第二数据集， 所述 第二数据集的数据数量小于预设阈值； 从存储的模型中选取模型； 利用用户提供的第二数据集， 对选取的模型进行训练后提供 给所述用户。 4.根据权利要求3所述的方法， 所述方法还 包括： 展示数据提示信息， 所述数据提示信息用于提示用户： 第二数据集中第二数据提供掩 蔽标记以及至少两个候选项， 所述至少两个候选项的其中一个候选项用于提示所述掩蔽标 记对应的单词。 5.根据权利要求1或3所述的方法， 所述至少两个候选项以提问的形式提供， 以使模型 基于所述 提问， 在预测所述掩蔽标记对应的单词时从所述至少两个候选项中进行选择。 6.根据权利要求1或3所述的方法， 所述至少两个候选项中其中一个候选项用于提示： 所述掩蔽标记对应的单词的反义词。 7.根据权利要求1或3所述的方法， 所述第一数据和/或第二数据通过如下 方式获得： 获取无标签文本， 将所述无标签文本进行分词处理得到多个单词， 从所述多个单词中 识别出形容词， 对其中一个形容词替换为掩蔽标记后获得的。 8.一种模型训练方法， 包括： 获取待训练模型； 获取第一数据集； 利用所述第一数据集对所述待训练模型进行训练； 其中， 所述第一数据集中第一数据 为文本， 所述第一数据中提供有掩蔽标记以及至少 两个候选项， 所述至少 两个候选项的其 中一个候选项用于提示所述掩蔽标记对应的单词， 以使所述待训练模型在所述至少两个候 选项的提 示下， 在预测所述掩蔽标记对应的单词时从所述至少两个候选项中进行选择。 9.根据权利要求8所述的方法， 所述第一数据采用提问的形式提供有所述至少两个候 选项， 以使所述待训练模型基于所述提问， 在预测所述掩蔽标记对应的单词时从所述至少 两个候选项中进行选择； 和/或， 所述第一数据通过如下方式获得： 获取无标签文本， 将所述无标签文本进行分词处理 得到多个单词， 从所述多个单词中识别出形容词， 对其中一个形容词替换为掩蔽标记后获 得的； 和/或， 所述至少两个候选项中其中一个候选项用于提示： 所述掩蔽标记对应的单词的反义权　利　要　求　书 1/2 页 2 CN 114610878 A 2词。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其中， 所述处 理器执行所述程序时实现权利要求1至9任一所述的方法。 11.一种计算机可读存储介质， 所述计算机可读存储介质上存储有若干计算机指令， 所 述计算机指令被执 行时实现权利要求1至9任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114610878 A 3