论文阅读“Multi-View Clustering via Deep Matrix Factorization”

MVC is intensively studied recently by leveraging the heterogeneous data to achieve the same goal.
多视图的本质就是使用异构的数据来实现共同的目标。不同的特征表示来自数据集的不同信息。
MVC aims to integrate multiple feature sets together, and uncover the consistent latent information from different views.


摘要阅读
由于许多实际数据由不同的表示形式或视图组成,因此多视图聚类(MVC)最近引起了更多关注。关键是要探索补充信息以使聚类问题受益。在本文中,我们提出了一个用于MVC的深度矩阵分解框架,该框架采用半负矩阵分解以分层方式学习多视图数据的层次语义。为了最大化每个视图的互信息,我们将最后一层中的每个视图的非负表示形式强制为相同。此外,为了尊重每个视图数据中的固有几何结构,引入了图正则化以耦合深层结构的输出表示。作为一项重要的贡献,我们提供了基于交替最小化策略(alternating minimization strategy)的解决方案,然后提供了收敛的理论证明。在三个面部基准上的出色实验结果表明了所提出的深度矩阵分解模型的有效性。

模型图展示

Framework.png

注解:相同的形状表示相同的类别。出于演示目的,这里仅显示两个视图的情况,其中提出了两个深度矩阵分解结构以分层方式捕获每个视图后面的丰富信息。通过深层次的结构,来自同一类别但不同视图的样本彼此靠近收集以产生更具区分性的表示。
因此论文通过图正则化半负矩阵分解提出了一种深度MVC算法。
关键是通过半负矩阵分解来构建深层结构,以寻求具有更一致知识的公共特征表示,以促进聚类。
因此对应的关键的贡献也分为两个部分:

  • Deep Semi-NMF结构的构建是通过利用Semi-NMF强大的可解释性以及从深度结构进行有效特征学习的优势来捕获隐藏信息。通过这种深层矩阵分解结构,我们可以逐层分解不重要的因素,并在MVC的最后一层中生成有效的共识表示。
  • 为了尊重数据样本之间的内在几何关系,我们引入了图正则化器来指导每个视图中的共享表示学习。这种做法可以使最后一层的共识表示保留跨多个图的大多数共享结构。可以将其视为提高最终MVC性能的融合方案。

方法解析
关于模型的构建,论文也明确对应了贡献点的两个部分,首先是基于semi-NMF可解释性的深度结构进行特征表示学习的过程,对应于公式中的第一部分,对于每个视图的分解从layer-1到layer-m,并设置H_m为所有视图的共享潜在表示。对于每个视图的也会分配一个视图权重,并且添加了参数gama来控制权重分布,这些参数都是可更新的。

remark 1- 由于多视图数据的同源性,第v个视图数据的最终层表示H(v)m应该彼此接近。在这里,我们使用共识Hm作为约束,在多层分解后强制多视图数据共享相同的表示。

proposed method.png

目标函数的第二部分是关于图正则化的约束部分,L^(v)是视图v的图拉普拉斯表示,其中每个图都以k最近邻(k-NN)的方式构造。其计算方式为:
L^(v).png

remark 2- 构造了多个图以约束公共表示学习,以便可以很好地保留每个视图中的几何结构以进行最终聚类。此外,基于k-NN的图形术语可以融合来自多个视图的几何知识,以使通用表示更加一致。

关于更新

param update.png

模型感悟
模型本身紧紧围绕着论文的两个贡献点进行目标函数的构造:首先是深度矩阵分解学习不同层的表示及对噪声的分解,其次是利用基于k-NN的图约束矩阵融合多个视图的本地结构。从思想上很简单,但是在优化的过程中可能需要一些技巧,这种基于公式化的目标函数使我们学习的方向。认识到在当前数据中,更多模型开始利用到近邻信息来丰富潜在特征表示,使得其更具有可解释性。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,607评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,047评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,496评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,405评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,400评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,479评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,883评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,535评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,743评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,544评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,612评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,309评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,881评论 3 306
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,891评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,136评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,783评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,316评论 2 342