(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111645861.1 (22)申请日 2021.12.3 0 (71)申请人 江南大学 地址 214122 江苏省无锡市滨湖区蠡湖大 道1800号 申请人 浪潮卓数 大数据产业发展 有限公司 (72)发明人 陈丽芳　李晓婉　谢振平　刘渊　 崔乐乐　宋设　杨宝华　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 沈鑫 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 40/00(2012.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于多注意力的公司财务预测方法 (57)摘要 本发明公开了基于多注意力的公司财务预 测方法， 包括， 获取公司的历史财务数据， 利用多 注意力结合编码器根据历史财务数据， 求得历史 财务数据的上下文向量， 将历史财务数据的上下 文向量和目标序列连接， 并结合解码器进行解码 得到公司下一时刻的利润数据； 本发 明基于多注 意力机制提升 了预测财务数据的精准度。 权利要求书3页 说明书7页 附图1页 CN 114692941 A 2022.07.01 CN 114692941 A 1.基于多注意力的公司财务预测方法， 其特 征在于： 包括： 获取公司的历史财务数据； 利用多注意力结合编码器根据所述历史财务数据， 求得历史财务数据的上 下文向量； 将所述历史财务数据的上下文向量和目标序列 连接， 并结合解码器进行解码得到公司 下一时刻的利 润数据。 2.如权利要求1所述的基于多注意力的公司财务预测方法， 其特征在于： 所述获取公司 的历史财务数据包括： 从JQDATA数据库中下 载的各个公司的历史财务数据作为驱动序列x和目标序列y。 3.如权利要求2所述的基于多注意力的公司财务预测方法， 其特征在于： 历史财务数据 的上下文向量包括： 将驱动序列x和目标序列y级联[x:y]， 并利用输入注意力选取所述级联[x:y]在t时段 重要的信息， 得到时间步上的影响权 重； 输入注意力公式如下： 其中， 为时间步上的权重， tanh()为激活函数， We和Ue分别为激活函数tanh的权 重、 ht‑1为LSTM单元的先前的隐藏状态， st‑1为解码器的LSTM单元的细胞状态， k为第k个驱动 序列， t为常数 取值范围为1～P， P为时间步， T为 转置； 权重归一化为 其中， exp()为指数函数， 为二维矩阵中的数， n 为驱动序列的个数， j为常数。 4.如权利要求3所述的基于多注意力的公司财务预测方法， 其特 征在于： 还 包括： 将所述 与序列[x:y]一一相乘： 并经过LSTM单元得到其隐 藏状态h1＝f1(h1,x1)； 其中， f1()为LSTM单元， h1为LSTM单元的隐藏状态， x1为权重加在每 个时间段 上的结果。 5.如权利要求1～4任一所述的基于多注意力的公司财务预测方法， 其特 征在于： 包括： 将驱动序列x和目标序列y点乘： x ·y， 并利用空间注意力对驱动序列各个变量进行加 权， 得到空间上的影响权 重； 空间注意力公式为： 其中， 为空间上的权 重， Wg和Ug分别为激活函数tanh的权 重， bg为偏置； 权重归一化为 权　利　要　求　书 1/3 页 2 CN 114692941 A 2其中， exp()为指数函数， 为二维矩阵中的数。 6.如权利要求5所述的基于多注意力的公司财务预测方法， 其特 征在于： 还 包括： 将求取的注意力与序列x ·y一一相乘： 并经过LST  M单元得 到其隐藏状态h2＝f1(h2,x2)； 其中， h2为LSTM单元的隐藏状态， x2为权重加在空间上的结果。 7.如权利要求6所述的基于多注意力的公司财务预测方法， 其特 征在于： 包括： 将所述h1和所述h2级联得Z： Z＝[h1； h2]。 8.如权利要求7 所述的基于多注意力的公司财务预测方法， 其特 征在于： 还 包括： 将所述Z沿着行向量卷积， 得到时间模式矩阵HC： 其中， ReLU()是线性整流 函数， C为大小为P的卷积核。 9.如权利要求8所述的基于多注意力的公司财务预测方法， 其特 征在于： 包括： 使用时间注意力为每 个时间段分配权 重， 并将所述时间模式矩阵输入解码器； 时间注意力公式为： 其中， 为时间步上的权重， 1≤ i≤P， [dt‑1； s′t‑1]是LSTM单元的先前的隐藏状态和编码 器的LSTM单元的细胞状态的串联， Wd和Ud分别为激活函 数tanh的权重， [dt‑1； s′t‑1]的权 重和HC的权重是需要学习的参数， HC为时间模式矩阵； 权重归一化为 将所述 与隐藏状态hi串联得到驱动序列的上 下文向量ct为： 其中， hi为解码器的隐藏状态。 10.如权利要求1、 8 或9任一所述的基于多注意力的公司财务预测方法， 其特征在于： 所 述公司下一时刻的利 润数据包括： 利用以下公式得到公司下一时刻的利 润数据 权　利　要　求　书 2/3 页 3 CN 114692941 A 3