(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111658623.4 (22)申请日 2021.12.3 0 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新 开发区望 江西路666号 (72)发明人 陈明军　牛雪静　王宁　吴嘉嘉　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 代理人 刘希 (51)Int.Cl. G06V 30/40(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 30/18(2022.01) G06Q 50/20(2012.01) (54)发明名称 公式识别方法及相关装置、 设备和存 储介质 (57)摘要 本申请公开了一种公式识别方法及相关装 置、 设备和存储介质， 该方法包括： 对待识别公式 图像进行特征提取， 得到第一特征图； 基于第一 特征图和当前解码阶段的参考信息， 获取当前解 码阶段的第二特征图； 基于当前解码阶段的第二 特征图进行解码， 得到当前解码阶段的各解码时 刻的解码符号， 并基于当前解码阶段的各解码时 刻的解码符号， 得到当前解码阶段的符号序列； 基于各解码阶段的参考解码阶段的符号序列中 占位符， 以及各解码阶段的符号序列进行嵌套组 合， 得到待识别公式图像中的目标公式。 上述方 案， 能够同时提高对复杂场景和复杂结构下的公 式识别能力。 权利要求书3页 说明书16页 附图6页 CN 114359925 A 2022.04.15 CN 114359925 A 1.一种公式识别方法， 其特 征在于， 包括： 对待识别公式图像进行 特征提取， 得到第一特 征图； 基于所述第 一特征图和当前解码阶段的参考信 息， 获取所述当前解码阶段的第 二特征 图； 其中， 所述 参考信息来自于参 考解码阶段中解码到占位符的解码时刻的解码信息； 基于所述当前解码阶段的第 二特征图进行解码， 得到所述当前解码阶段的各所述解码 时刻的解码符号， 并基于所述当前解码阶段 的各所述解码时刻的解码符号， 得到所述当前 解码阶段的符号序列； 基于各所述解码阶段的参考解码阶段的符号序列中所述占位符， 以及各所述解码阶段 的符号序列进行嵌套组合， 得到所述待识别公式图像中的目标公式。 2.根据权利要求1所述的方法， 其特征在于， 在各所述解码阶段解码到所述占位符时保 存所述参考信息， 以供后续选择使用； 在所述基于所述当前解码阶段 的各所述解码时刻的 解码符号， 得到所述当前解码阶段的符号序列之后， 以及在所述基于各所述解码阶段的参 考解码阶段的符号序列中所述占位符， 以及各所述解码阶段的符号序列进行嵌套组合， 得 到所述待识别公式图像中的目标公式之前， 所述方法还 包括： 获取各所述参考信息的选择使用情况； 响应于尚有未选择使用的参考信息， 开启新的解码阶段， 作为新的当前解码阶段， 并重 新执行所述基于所述第一特征图和当前解码阶段的参考信息， 获取所述当前解码阶段的第 二特征图的步骤以及后续 步骤； 响应于所有所述参考信息均已选择使用， 确定解码结束， 并执行所述基于各所述解码 阶段的参考解码阶段的符号序列中所述占位符， 以及各所述解码阶段的符号序列进行嵌套 组合， 得到所述待识别公式图像中的目标公式的步骤。 3.根据权利要求2所述的方法， 其特征在于， 在所述开启新的解码 阶段， 作为新的当前 解码阶段之后， 所述方法还 包括： 选择最先保存 且之前未被选择使用的参 考信息， 作为 新的当前解码阶段的参 考信息。 4.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一特征图和当前解码阶段 的参考信息， 获取 所述当前解码阶段的第二特 征图， 包括： 基于所述当前解码阶段的参考信 息， 所述第 一特征图中各个第 一像素点的第 一特征表 示进行预测， 得到各个第一像素点的第一权重； 其中， 所述第一权重表示在所述当前解码阶 段的重要程度； 基于所述各个第 一像素点的第 一特征表示和第 一权重， 得到所述当前解码阶段的第 二 特征图。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述当前解码阶段的第 二特征图 进行解码， 得到所述当前解码阶段的各 所述解码时刻的解码符号， 包括： 基于所述参考信息、 参考解码时刻的解码状态和解码符号， 以及所述第二特征图中各 个第二像素点的第二特征表示进 行预测， 得到所述各个第二像素点在所述当前解码时刻的 第二权重； 基于所述各个第 二像素点的第 二特征表示和第 二权重， 得到所述当前解码时刻的上下 文特征； 基于所述参考解码时刻的解码状态和解码符号， 以及所述当前解码时刻的上下文特征权　利　要　求　书 1/3 页 2 CN 114359925 A 2进行解码， 得到所述当前解码时刻的解码符号。 6.根据权利要求5所述的方法， 其特 征在于， 所述第二权 重基于注意力机制预测得到； 和/或， 所述上下文特征由所述各个第二像素点的第二特征表示和所述第二权重进行 加权处理得到。 7.根据权利要求5所述的方法， 其特征在于， 基于所述参考解码时刻的解码状态和解码 符号， 以及所述当前解码时刻的上下文 特征进行解码， 得到所述当前解码时刻的解码符号， 包括： 基于所述参考解码时刻的解码状态和解码符号， 以及所述当前解码时刻的上下文特 征， 得到所述当前解码时刻的解码状态； 基于所述当前时刻的解码状态进行符号预测， 得到所述当前解码时刻的解码符号。 8.根据权利要求5所述的方法， 其特 征在于， 所述方法还 包括： 响应于所述当前解码时刻的解码符号为所述占位符， 将所述各个第 二像素点在所述当 前解码时刻的第二权重， 以及所述当前解码时刻的解码 状态， 作为所述参考信息进 行保存， 以供后续选择使用。 9.根据权利要求1所述的方法， 其特征在于， 所述基于各所述解码阶段的参考解码阶段 的符号序列中所述占位符， 以及各所述解码阶段的符号序列进行嵌套组合， 得到所述待识 别公式图像中的目标公式， 包括： 将首个所述 解码阶段的符号序列， 作为第一序列； 选择所述第 一序列中所述占位符， 作为目标符， 并基于所述目标符， 选择一个未被选择 的解码阶段的序号序列， 作为第二序列； 其中， 选择的解码阶段的参考信息来自于所述目标 符对应的解码信息； 将所述第二序列嵌套至所述目标符， 得到新的第一序列， 并重新执行所述选择所述第 一序列中所述占位符， 作为 目标符的步骤以及后续步骤， 直至所有所述解码阶段均被选择 为止； 基于最新的第一序列， 恢复得到所述目标公式。 10.根据权利要求1所述的方法， 其特征在于， 在所述当前解码阶段为首个所述解码阶 段的情况下， 所述参考信息用于确定所述当前解码阶段需要关注所述第一特征图整体为所 述占位符表示区域。 11.根据权利要求1所述的方法， 其特征在于， 所述目标公式利用公式识别网络识别得 到， 所述公 式识别网络基于样本公式图像训练得到， 所述样本公 式图像中含有样本公式， 且 所述样本公式图像标注有所述样本公式对应的样本公式序列； 其中， 所述样本公式序列包括顺序连接的若干样本符号序列， 各所述样本符号序列包 括若干样本公式符号， 且第二样本符号序列为第一样本符号序列中所述占位符的表示内 容， 所述第一样本符号序列和所述第二样本符号序列为所述样本公式序列中不同所述样本 符号序列， 且所述第一样本符号序列位于所述第二样本符号序列之前。 12.根据权利要求11所述的方法， 其特征在于， 所述样本公式预先以预设公式标记语言 标注为原 始标签序列， 所述样本公式序列的获取步骤 包括： 基于所述原始标签序列， 得到所述样本公式的公式图； 其中， 所述公式图包含第 一节点 和第二节点， 所述第一节点表示所述样本公式中的符号， 所述第二节点表示所述样本公式权　利　要　求　书 2/3 页 3 CN 114359925 A 3