(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210512137.X (22)申请日 2022.05.11 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 曹宇慧　王赞博　黄硕　陈永锋　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 训练文本审核 模型的方法和装置 (57)摘要 本公开提供了训练文本审核模型的方法和 装置， 涉及人工智 能领域， 尤其涉及自然语言处 理领域。 具体实现方案为： 获取领域语言模型、 学 生模型、 无标注数据和标注数据， 其中， 所述标注 数据包括文本信息和审核 标签； 将所述标注数据 中的文本信息和审核标签分别作为输入和期望 输出， 对所述领域语言模型进行微调训练， 得到 教师模型； 将所述无标注数据输入所述教师模 型， 输出伪审核 标签， 得到伪标注数据； 通过所述 伪标注数据对 所述学生模型进行训练， 得到文本 审核模型。 该 实施方式能够在 小规模人工标注数 据和大规模无标注数据上进行训练， 得到效果 好、 速度快的文本审核 模型。 权利要求书2页 说明书9页 附图4页 CN 114970540 A 2022.08.30 CN 114970540 A 1.一种训练文本审核模型的方法， 包括： 获取领域语言模型、 学生模型、 无标注数据和标注数据， 其中， 所述标注数据包括文本 信息和审核标签； 将所述标注数据中的文本信 息和审核标签分别作为输入和期望输出， 对所述领域语言 模型进行微调训练， 得到教师模型； 将所述无 标注数据输入所述教师模型， 输出伪审核标签， 得到伪标注数据； 通过所述伪标注数据对所述学生模型进行训练， 得到文本审核模型。 2.根据权利要求1所述的方法， 其中， 所述方法还 包括： 获取预训练语言模型和文本审核领域数据； 基于所述文本审核领域数据对所述预训练语言模型进行无监督的领域预训练， 得到领 域语言模型。 3.根据权利要求1或2所述的方法， 其中， 在所述通过所述伪标注数据对所述学生模型 进行训练之前， 所述方法还 包括： 通过所述伪标注数据对所述教师模型进行训练， 得到更新后的教师模型； 通过更新后的教师模型对所述无 标注数据重新进行 预测， 得到更新后的伪标注数据。 4.根据权利要求1所述的方法， 其中， 所述方法还 包括： 根据所述标注数据进行文本分类训练， 得到学生模型。 5.根据权利 要求1所述的方法， 其中， 所述教师模型采用语义理解框架ERNIE， 所述学生 模型采用文本分类模型TextCN N。 6.一种文本审核方法， 包括： 获取待审核的文本信息； 将所述文本信息输入根据权利要求1 ‑5中任一项所述的方法训练出的文本审核模型， 输出审核结果。 7.一种训练文本审核模型的装置， 包括： 获取单元， 被配置成获取领域语言模型、 学生模型、 无标注数据和标注数据， 其中， 所述 标注数据包括文本信息和审核标签； 微调单元， 被配置成将所述标注数据中的文本信 息和审核标签分别作为输入和期望输 出， 对所述领域语言模型进行微调训练， 得到教师模型； 预测单元， 被配置成将所述无标注数据输入所述教师模型， 输出伪审核标签， 得到伪标 注数据； 训练单元， 被配置成通过所述伪标注数据对所述学生模型进行训练， 得到文本审核模 型。 8.根据权利要求7 所述的装置， 其中， 所述装置还 包括领域预训练单 元， 被配置成： 获取预训练语言模型和文本审核领域数据； 基于所述文本审核领域数据对所述预训练语言模型进行无监督的领域预训练， 得到领 域语言模型。 9.根据权利要求7或8所述的装置， 其中， 所述装置还 包括自蒸馏单 元， 被配置成： 在所述通过所述伪标注数据对所述学生模型进行训练之前， 通过所述伪标注数据对所 述教师模型进行训练， 得到更新后的教师模型；权　利　要　求　书 1/2 页 2 CN 114970540 A 2通过更新后的教师模型对所述无 标注数据重新进行 预测， 得到更新后的伪标注数据。 10.根据权利要求7 所述的装置， 其中， 所述装置还 包括分类预训练单 元， 被配置成： 根据所述标注数据进行文本分类训练， 得到学生模型。 11.根据权利要求7所述的装置， 其中， 所述教师模型采用语义理解框架ERNIE， 所述学 生模型采用文本分类模型TextCN N。 12.一种文本审核装置， 包括： 获取单元， 被配置成获取待审核的文本信息； 审核单元， 被配置成将所述文本信息输入根据权利要求7 ‑11中任一项所述的装置训练 出的文本审核模型， 输出审核结果。 13.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑6中任一项所述的方法。 14.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中， 所述计算机指令用于 使所述计算机执 行根据权利要求1 ‑6中任一项所述的方法。 15.一种计算机程序产品， 包括计算机程序， 所述计算机程序在被处理器执行时实现根 据权利要求1 ‑6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114970540 A 3