(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210349150.8 (22)申请日 2022.04.01 (71)申请人 中国科学院空天信息创新研究院 地址 100094 北京市海淀区邓庄南路9号 (72)发明人 陈祖刚　蔡匡盛　李静　李国庆　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 白冬梅 (51)Int.Cl. G06F 40/126(2020.01) G06F 40/216(2020.01) G06F 40/242(2020.01) G06F 40/30(2020.01) (54)发明名称 一种知识稀疏分布式编码方法及系统 (57)摘要 本发明提供一种知识稀疏分布式编码方法 及系统。 该方法包括： 从数据集中获取待处理的 文本数据； 对所述文本数据进行切割， 得到所述 文本数据包含的所有句子； 基于TF ‑IDF统计模型 对所述句子中的单词进行编码， 获得各个句子对 应的高维向量； 基于TSNE降维模型对各个句子对 应的高维向量进行 降维得到各个句子对应的低 维向量， 基于所述低维向量构建相应的语义空 间； 其中， 所述低维向量为二维句子向量或者三 维句子向量； 基于所述语义空间对输入知识进行 自然语言的稀 疏分布式编码， 输出相应的知 识编 码结果。 本发明提供的知识稀疏分布式编码方 法， 能够有效降低编码处理的复杂度， 提高了自 然语言编码精度， 从而提升了对自然语 言的编码 能力。 权利要求书2页 说明书11页 附图5页 CN 114925657 A 2022.08.19 CN 114925657 A 1.一种知识稀疏分布式编码方法， 其特 征在于， 包括： 从数据集中获取待处 理的文本数据； 对所述文本数据进行切割， 得到所述文本数据包 含的所有句子； 基于TF‑IDF统计模型对所述句子中的单词进行编码， 获得 各个句子对应的高维向量； 基于TSNE降维模型对所述各个句子对应的高维向量进行降维得到各个句子对应的低 维向量， 基于所述低维向量构建相应的语义空间； 其中， 所述低维向量为二 维句子向量 或者 三维句子向量； 基于所述语义空间对输入知识进行自然语言的稀疏分布式编码， 输出相应的知识编码 结果。 2.根据权利要求1所述的知识稀疏分布式编码方法， 其特征在于， 所述基于TSNE降维模 型对所述各个句子对应的高维向量进 行降维得到各个句子对应的低维向量， 基于所述低维 向量构建相应的语义空间， 具体包括： 基于TSNE降维模型将所述各个句子对应的高维向量 降维至低 维向量， 对所述低 维向量进行放缩与取整， 以实现将将所述低 维向量按比例放入 到预设的128*128的原始语义空间中， 得到所述语义空间； 并将所述语义空间存储至数据 库； 所述语义空间中包 含句子在语义空间中的坐标以及句子的属性信息 。 3.根据权利要求1所述的知识稀疏分布式编码方法， 其特征在于， 在得到所述文本数据 包含的所有句 子之后， 还包括： 对所述句 子中的所有单词进行统计并记录每个单词的出现 次数， 生成相应的词典。 4.根据权利要求1所述的知识稀疏分布式编码方法， 其特征在于， 所述基于所述语义空 间对输入知识进行自然语言的稀疏分布式编码， 输出相应的知识编码结果， 具体包括： 获得待编码的原始输入知识； 对所述原始输入知识进行预处理， 并将预处理得到的输 入知识与数据库中的每个句子进 行对比匹配， 若存在与所述输入知识包含的单词或短语相 对应的目标句子， 则读取所述目标句子在语义空间中的坐标， 并在128*128的原始语义空间 中相应的坐标位置对应的值标记为1， 以实现基于所述语义空间对输入知识进行稀疏分布 式编码， 输出相应的知识编码结果。 5.根据权利要求1所述的知识稀疏分布式编码方法， 其特征在于， 对所述文本数据进行 切割， 得到所述文本数据包含的所有句子， 具体包括： 对预处理后的所述文本数据进行切 割， 并对切割后得到的句子进 行降噪处理， 以实现剔除掉句子中的无效字 符， 得到所述文本 数据包含的所有句子 。 6.根据权利 要求1所述的知识稀疏分布式编码方法， 其特征在于， 所述基于TF ‑IDF统计 模型对所述句子中的单词进行编码， 获得 各个句子对应的高维向量， 具体包括： 基于TF‑IDF统计模型对所述句子中的单词进行编码确定单词的重要度以及逆文档频 率， 基于所述单词的重要度以及逆文档频率确定TF ‑IDF值以得到各个句子对应的高维向 量。 7.一种知识稀疏分布式编码系统， 其特 征在于， 包括： 文本数据获取 单元， 用于从数据集中获取待处 理的文本数据； 句子生成单 元， 用于对所述文本数据进行切割， 得到所述文本数据包 含的所有句子； 高维向量编码单元， 用于基于TF ‑IDF统计模型对所述句子中的单词进行编码， 获得各 个句子对应的高维向量；权　利　要　求　书 1/2 页 2 CN 114925657 A 2降维处理单元， 用于基于TSNE降维模型对所述各个句子对应的高维向量进行降维得到 各个句子对应的低维向量， 基于所述低维向量构建相应的语义空间； 其中， 所述低维向量为 二维句子向量或者 三维句子向量； 知识编码单元， 用于基于所述语义空间对输入知识进行自然语言的稀疏分布式编码， 输出相应的知识编码结果。 8.根据权利要求7所述的知识稀疏分布式编码系统， 其特征在于， 所述降维处理单元， 具体用于： 基于TSNE降维模型将所述各个句子对应的高维向量降维至低维向量， 对所述低 维向量进行放缩与取整， 以实现将将所述低维向量按比例放入到预设 的128*128的原始语 义空间中， 得到所述语义空间； 并将所述语义空间存储至数据库； 所述语义空间中包含句子 在语义空间中的坐标以及句子的属性信息 。 9.一种电子设备， 包括存储器、 处理器以及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至6任意一项 所述知识稀疏分布式编码方法的步骤。 10.一种处理器可读存储介质， 所述处理器可读存储介质上存储有计算机程序， 其特征 在于， 该计算机程序被处理器执行时实现如权利要求 1至6任意一项 所述知识稀疏分布式编 码方法的步骤。权　利　要　求　书 2/2 页 3 CN 114925657 A 3