(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111650276.0 (22)申请日 2021.12.3 0 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路２ 号 (72)发明人 刘振娇　陈志奎　赵亮　杨韬　 李岳　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 苗青　王海波 (51)Int.Cl. G06F 16/958(2019.01) G06F 30/27(2020.01) G06K 9/62(2022.01) G06F 111/04(2020.01) (54)发明名称 基于NMF和低秩张量的不完整多模态媒体数 据聚类方法 (57)摘要 本发明提供一种基于NMF和低秩张量的不完 整多模态 媒体数据聚类方法， 属于媒体信息处理 技术与数据挖掘技术领域。 包 括以下步骤： (1)应 用于网络社交媒体平台的不完整多模态媒体数 据预填充和分解； (2)基于不完整多模态社交媒 体平台数据的低秩张量模型融合； (3)融入测量 机制， 学习多模态社交媒体平台数据的共识表 示； (4)计算和优化联合目标函数， 迭代更新直至 满足收敛条件， 完成聚类学习。 该模型可 以有效 融合模态中的可见实例和视图之间的信息， 以填 补缺失的信息。 也可以通过多个模态的高阶相关 性来捕获缺失信息， 这有助于获得良好的多模态 聚类结果。 权利要求书4页 说明书10页 附图3页 CN 114461961 A 2022.05.10 CN 114461961 A 1.一种基于NMF和低秩张量的不完整多模态媒体数据聚类方法， 其特征在于， 包括以下 步骤： 步骤1、 应用于网络社交媒体平台的不完整 多模态媒体数据预填充和分解 步骤1.1应用于网络社交媒体平台的不完整 多模态媒体数据预填充 设定X(v)代表原始的社交媒体平台多模态媒体数据集， 针对不完整社交媒体平台数据 中不同模态未采集到的缺失数据采用补0的方式进行 预填充， 填充过程如下： 其中， 操作是选择社交媒体平台的不完整多模态数据X(v)中的缺失数据用0填充， 填 充完的零矩阵映射到缺失预填充矩阵 中， 未缺失的社交媒体平台模态数据则映射到矩 阵 中， 构建得到预填充后的社交媒体平台多模态数据矩阵Y(v)， 表示方式如下： 其中， 代表未缺失的社交媒体平台多模态数据映射矩阵， 代表缺失的社交媒体 平台多模态数据映射矩阵； 步骤1.2应用于网络社交媒体平台的不完整 多模态媒体数据分解 为了解决不完整多模态媒体数据低维表示及维度一致性的问题， 引入非负矩阵分解模 型， 保证模态数据的统一维度和低维表示的有效性， H(v)代表统一 维度后的社 交媒体平台多 模态媒体数据， 计算过程如下： 其中， λ1是一个惩罚参数； n(v)代表数据采集完整情况下的社交媒体平台模态实例数， no (v)代表社交媒体平台多模态数据中成功采集的未缺失实例数， ncp(v)代表社交媒体平台多模 态数据中未成功采集的缺失实例数； 通过对未缺失的社交媒体平台多模态数据映射矩阵 进行非负矩阵分解， 形成的未缺失社交媒体平台数据多模态低维表示矩阵 由 缺失实例矩阵 形成的缺失实例低维表示零矩阵； Q(v)为非负矩阵分解后的系数矩阵； Tv 是对每个模态数据低维表示后的模态矩阵进 行重构操作， 目的是将降维后的不完整社 交媒 体平台模态数据按照原本的实例排列顺序进行排列； 步骤2、 基于不完整 多模态社交媒体平台数据的低秩张量模型融合； 引入低秩张量约束用于不完整多模态社交媒体平台数据的填充； 低秩张量模型通过具 有的低秩先验信息来辅助解决填充问题， 能够有效实现不完整多模态社交媒体平台数据更 加精确的填充； 通过步骤1得到的社 交媒体平台多模态低维表 示矩阵H(v)构建不完整多模态权　利　要　求　书 1/4 页 2 CN 114461961 A 2社交媒体平台数据的张量模型， 构建过程如下： 其中， Ψ操作代表将降维后的二阶结构矩阵H(v)按照模态顺序进行罗列， 构 建三阶张量 模型 利用张量核范数来近似张量低秩表示， 通过最小化张量秩的方法实现低秩张量， 实现 不完整多模态社交媒体平台数据的低秩张量模型融合， 优化模型如下： 为了填充不完整多模态社交媒体平台数据构建的张量模型 以及使目标函数可分离， 引入辅助变量Km， 计算过程如下： 其中， km是矩阵Km的矢量化； Pm是用于对齐Hm和Km之间对应元素的对齐矩阵， Hm是通过按 模展开不完整多模态社交媒体平台数据张量模型 的表示矩阵， 张量模型 的按模展开 的定义表示为 h是多模态社交媒体平台数据构建的低秩张量模型 的矢量化； 通过公式(6)实现模型 的低秩约束， 实现不完整多模态社交媒体平台数据的 低秩张量 填充模型； 步骤3、 融入测量机制， 学习多模态社交媒体平台数据的共识 表示； 考虑到步骤2中填充不完整社交媒体平台多模态数据之后存在的模态之间的实例和语 义彼此对齐的问题， 基于此， 构建一个整合所有模态数据的一 致表示模型， 如下 所示： 其中， U代表填充后的不完整社交媒体平台多模态数据的一致性表示矩阵， H(v)为步骤2 经过低秩张量模型填充处理后的不完整模态数据， 通过函数Λ运算 获得一致性表示矩阵的 公式如下： 其中， SU代表不完整社交媒体平台多模态数据的一致性表示矩阵U的相似度矩阵， 代表低秩张量模型填充处理后的不完整模态数据矩阵H(v)的相似度矩阵， 该函数通过最小 化不完整 社交媒体平台多模态数据H(v)和一致性学习矩阵U之间的差距， 可以得到更好的融 合表示； SU＝UUT作为相似性度量的衡量标准， 在此基础上令 上述公式 (8)可以改写如下：权　利　要　求　书 2/4 页 3 CN 114461961 A 3