(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210230690.4 (22)申请日 2022.03.10 (71)申请人 浙江理工大 学 地址 310018 浙江省杭州市经济开发区白 杨街道2号大街9 28号 (72)发明人 张宇　卜天　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 杨天娇 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/30(2020.01) G06F 40/242(2020.01) G06K 9/62(2022.01) (54)发明名称 基于双层注意力联合学习的下联生成方法 和装置 (57)摘要 本发明公开了一种基于双层注意力联合学 习的下联生成方法和装置， 采用了一种新颖的 “语料‑短语‑词语”的三层文本结构， 并在此基础 上使用双层 注意力联合学习模型来生成下联。 模 型内部引入了双层注意力机制分别捕获短语层 和词语层的关注信息， 外部使用联合学习方法将 对联的全部子句进行迭代训练， 从而优化模型参 数。 本发明进行了丰富的实验， 其中， 双层 注意力 联合学习模型的BLEU值为0.374， 该得分明显优 于现有使用 “词”嵌入的模型。 同时， 在字数一致 率和人工 评估等指标上也验证 了方法的有效性。 权利要求书3页 说明书15页 附图6页 CN 114580408 A 2022.06.03 CN 114580408 A 1.基于双层注意力联合学习的下联生成方法， 其特征在于， 所述基于双层注意力联合 学习的下 联生成方法， 包括： 将语料库中的上下联分别转化为符合 “语料‑短语‑词语”三层文本结构的训练集， 包 括： 对上下联进行分词得到有序集 合； 获取对联中上 联和下联对应的有序集 合， 利用最小公有和数构造短语； 基于所构造的短语， 将上下联转化为 “语料‑短语‑词语”三层文本结构表示， 得到训练 集； 基于“语料‑短语‑词语”三层文本结构 构建双层注意力模型； 采用联合学习方法利用训练集对所述双 层注意力模型进行训练得到下 联生成模型； 采用所述下 联生成模型， 针对输入的上 联自动生成下 联。 2.如权利要求1所述的基于双层注意力联合学习的下联生成方法， 其特征在于， 所述获 取对联中上 联和下联对应的有序集 合， 利用最小公有和数构造短语， 包括： 取分词工具分词后的上联为有序集合A： [a1， a2， ...， af， ...]， 分词后的下联为有序集 合B： [b1， b2， ...， bg， ...]， f为集合A中词语位置的下标， af表示集合A中第f个词语； g表示集 合B中词语位置的下标， bg表示集合B中第g个词语， 用 “||”表示词语的字数， |af|表示集合A 中第f个词语的字数， |bg|表示集合B中第g个词语的字数； 基于集合A和集合B构造短语， 包括： 比较|a1|与|b1|的大小： 取f＝ 1， g＝1， 若|a1|＞|b1|， 则g＝g+1并执行下一步； 若|a1|＜ |b1|， 则f＝f+1并执行下一步； 若|a1|＝|b1|， 则将[a1]作为上联中的一个短语， 将[b1]作为 下联中的一个短语， 并执 行循环判断； 比较|a1|+…+|af|与|b1|+…+|bg|的大小： 若(|a1|+…+|af|)＞(|b1|+…+|bg|)， 则g＝g +1并重新比较|a1|+…+|af|与|b1|+…+|bg|的大小； 若(|a1|+…+|af|)＜(|b1|+…+|bg|)， 则 f＝f+1并重新比较|a1|+…+|af|与|b1|+…+|bg|的大小； 若(|a1|+…+|af|)＝(|b1|+…+|bg |)， 则将[a1， a2， ...， af]作为上联中的一个短语， 将[b1， b2， ...， bg]作为下联中的一个短语 并执行循环判断； 循环判断： 若集合A中存在词语af+1， 则将集合A中的词语a1， a2， ...， af删除， 把第f个后 面的词语af+1， af+2， ...整体前移， af+1重新作为集合A中的第一个词语a1， 同样地， 将集合B中 的词语b1， b2， ...， bg删除， 把第g个后面的词语bg+1， bg+2， ...整体前移， bg+1重新作为集合B中 的第一个词 语b1， 并重新执行比较|a1|与|b1|的大小； 当集合A中不存在词语af+1时， 循环结 束， 短语构造 完成。 3.如权利要求1所述的基于双层注意力联合学习的下联生成方法， 其特征在于， 所述基 于所构造的短语， 将上 下联转化为“语料‑短语‑词语”三层文本结构表示， 包括： 设定短语内词 语的个数阈值为X1，“语料‑短语‑词语”三层文本结构内短语的个数阈值 为X2； 将位于同一上 联或下联中的短语进行有序排列得到初始结构； 对初始结构中， 短语内词语个数少于个数阈值X1的短语添加填充符， 对短语个数少于个 数阈值X2的添加以填充符构成的短语， 得到 “语料‑短语‑词语”三层文本结构表示的上下 联。权　利　要　求　书 1/3 页 2 CN 114580408 A 24.如权利要求1所述的基于双层注意力联合学习的下联生成方法， 其特征在于， 所述双 层注意力模型由词语编码器、 短语编码器、 短语解码器和词语解码器构成。 5.如权利要求4所述的基于双层注意力联合学习的下联生成方法， 其特征在于， 所述词 语编码器进行如下处 理： 将表示为“语料‑短语‑词语”三层文本结构的上联中的词语通过嵌入矩阵转化为词向 量； 取上联中的短语， 将每个短语内的词语的词向量传入双向GRU网络 中， 得到每个短语对 应的短语向量； 取上联中的词语， 将每个词语的词向量传入单向GRU网络中， 得到每个词语对应的隐藏 状态。 6.如权利要求5所述的基于双层注意力联合学习的下联生成方法， 其特征在于， 所述短 语编码器进行如下处 理： 将所述短语向量传入单向GRU网络中， 得到每 个短语对应的隐藏状态。 7.如权利要求6所述的基于双层注意力联合学习的下联生成方法， 其特征在于， 所述短 语解码器进行如下处 理： 在短语解码器的GRU单 元的每一次循环中执 行如下操作： 将第一指定信息传入GRU单 元， 得到第一向量； 对第一向量和全部短语的隐藏状态进行矩阵乘法， 并将矩阵乘法的结果进行归一化处 理， 得到短语注意力权 重； 利用短语注意力权 重对全部短语的隐藏状态进行加权求和得到短语上 下文向量； 其中， 在短语解码器的GRU单元的第一 次循环中， 所述第 一指定信息为以全部短语的隐 藏状态整合而成的上联信息； 在短语解码 器的GRU单元除第一次循环的其余循环中， 所述第 一指定信息为上一次循环中得到的第一向量。 8.如权利要求7所述的基于双层注意力联合学习的下联生成方法， 其特征在于， 所述词 语解码器进行如下处 理： 在短语解码器的GRU单元的每一次循环中， 词语解码器对本次循环得到的短语上下文 向量进行解码， 所述词语解码器进行解码包括： 在词语解码器的GRU单 元的每一次循环中执 行如下操作： 将第二指定信息传入GRU单 元， 得到第二向量； 对第二向量和全部词语的隐藏状态进行矩阵乘法， 并将矩阵乘法的结果进行归一化处 理， 得到词语注意力权 重； 利用词语注意力权 重对全部词语的隐藏状态进行加权求和得到词语上 下文向量； 其中， 在词语解码器的GRU单元的第一次循环中， 所述第二指定信息为短语上下文向 量； 在词语解码 器的GRU单元除第一次循环的其余循环中， 所述指 定信息为上一次循环中得 到的第二向量。 9.如权利要求1所述的基于双层注意力联合学习的下联生成方法， 其特征在于， 所述采 用联合学习方法利用训练集对所述双 层注意力模型进行训练得到下 联生成模型， 包括： 依次取上联或下联中的每 个短语作为 起始短语； 由起始短语起向后取个数为组合数的短语与起始短语组成句子， 其中组合数为由0逐权　利　要　求　书 2/3 页 3 CN 114580408 A 3