(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210371281.6 (22)申请日 2022.04.11 (65)同一申请的已公布的文献号 申请公布号 CN 114444517 A (43)申请公布日 2022.05.06 (73)专利权人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 毕胜　周之遥　漆桂林　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 杜静静 (51)Int.Cl. G06F 40/30(2020.01) G06K 9/62(2022.01)G06Q 50/18(2012.01) G06F 16/35(2019.01) 审查员 张永辉 (54)发明名称 一种量刑标准知识增强的数值感知的智能 法律判决方法 (57)摘要 本发明公开了一种量刑标准知识增强的数 值感知的智能法律判决方法， 用于解决一般方法 缺乏数值感知能力进而在数值法律判决任务上 表现较差的问题， 提出的该方法包括以下步骤： 首先使用PT LM对事实描述编码， 获得句子级和词 语级的表征； 然后； 接着使用基于预训练语言模 型 （PTLM， Pre ‑Trained Language  Model） 的遮蔽 数字预测(MNP)来帮助模型获得法律上的数值意 义； 再从数值表征和选择的法律知识中构建图网 络， 进行数值推理； 最后使用经过以上步骤得到 的表征预测类别。 本发明在设计时利用了PT LM的 优势， 同时融入了司法先验， 并构建图网络进行 数值推理， 能够显著提升法律判决准确率。 权利要求书3页 说明书10页 附图2页 CN 114444517 B 2022.07.08 CN 114444517 B 1.一种量刑标准知识增强的数值感知的智能法律判决方法， 其特征在于， 包括以下步 骤： 步骤1、 使用预训练语言模型PTLM在海量法律文本上进行二阶段预训练， 以获得领域内 和任务内的语义知识， 步骤2、 使用基于对比学习的量刑标准知识选择， 根据上面的文本编码器选择正确量刑 标准知识， 根据得到的犯罪事实描述编码， 选择正确的量刑 标准知识， 作为一个损失， 同时 引入对比学习损失， 步骤3、 使用与步骤1中同样经过两阶段预训练的另一个PTLM对量刑标准知识编码， 同 时利用掩码数值预测MNP， Masked  Numeral Prediction学习数值意义， 得到量刑标准知识 编码 和 ， 步骤4、 对文本数值和量刑标准知识数值构建异构有向数值图， 进行 数值推理， 步骤5、 联合 量刑标准知识和犯罪事实中数值推理的结果， 同时预测刑期和 罚金， 步骤6、 通过小批量梯度下降mini ‑batch随机梯度下降的方式来更新模型的参数， 进行 模型的训练以及优化； 所述步骤1中， 使用PTLM在海量法律文本上进行二阶段预训练， 以获得领域内和任务内 的语义知识， 本方法中使用 RoBERTa 作为犯罪事实文本描述和司法知识文本的编码器； RoBERTa 即为被广泛使用的一种PTLM,在大量法律文本上进行掩码语言建模MLM，  Masked  Language  Model， 随后在任务数据集文本上进一步预训练， 使用得到的模型对事实描述编 码， 得到文本编码uX和 ,具体如下： ； 其中uX为句子级的表征， 为所有词语的表征矩阵， 为标识符； 所述步骤2中， 根据文本表征选择合适的量刑标准知识， 得到量刑标准知识选择任务的 损失函数 公式如下： , 和 分别指第i个样本第m个量刑标准知识类别正确的标签和预测的概率， 指量刑标准知识的数量； 所述步骤2中， 同时引入基于对比学习的损失， 来区分易混淆的量刑标准知识， 对比学 习的损失函数 定义如下：权　利　要　求　书 1/3 页 2 CN 114444517 B 2, 其中, λ是调整权重的超参， τ是softmax函数的温度超参， 是一个训练批次大小， 、 、 表示一个训练批次中第 个样本的表征。 2.根据权利要求1所述的量刑标准知识增强的数值感知的智能法律判决方法， 其特征 在于， 所述步骤3中， 对 所选择的量刑标准知识文本进 行编码， 同时使用MNP任务使模 型理解 量刑标准知识以及其中数值， 具体公式如下： ， 其中， uA表示量刑标准知识的句子级表征， 表示量刑标准知识的所有词语的表征矩 阵, 得到掩码数字预测MNP任务的损失函数 定义为： , 其中 , 表示第i个量刑标准知识中的数值数量 ,   表示数值词典的大小， 分别表示第i个量刑标准知识第j个数值预测中某一个类别的正确标签和预测 概率。 3.根据权利要求2所述的量刑标准知识增强的数值感知的智能法律判决方法， 其特征 在于， 所述步骤4中， 对文本数值和量刑标准知识数值构建异构有向数值图， 进 行数值推理, 构建一个异构图 ,其中节点 代表事实描述和量刑标准知识中的数值， 边 代表数值之间的大小关系。 4.根据权利要求3所述的量刑标准知识增强的数值感知的智能法律判决方法， 其特征 在于， 所述步骤4中， 在图网络中， 遵循图神经网络推理的一般范式， 做迭代地消息传播， 最 终得到具有数值理解的表征,整个过程 概括如下： , 其中 代表图网络的推理, 是一个可 学习的参数矩阵,权　利　要　求　书 2/3 页 3 CN 114444517 B 3