流形学习(manifold learning)是机器学习、模式识别中的一种方法,在维数约简方面具有广泛的应用。它的主要思想是将高维的数据映射到低维,使该低维的数据能够反映原高维数据的某些本质结构特征。流形学习的前提是有一种假设,即某些高维数据,实际是一种低维的流形结构嵌入在高维空间中。流形学习的目的是将其映射回低维空间中,揭示其本质。
通过流形学习来实现降维的方法有很多,其基本思想也类似:假设数据在高维具有某种结构特征,希望降到低维后,仍能保持该结构。比较常见的有
1. 局部改线嵌入(Local Linear Embedding, LLE)[1] 假设数据中每个点可以由其近邻的几个点重构出来。降到低维,使样本仍能保持原来的重构关系,且重构系数也一样。
2. 拉普拉斯特征映射(Laplacian Eigenmaps, LE)[2] 将数据映射到低维,且保持点之间的(相似度)距离关系。即在原空间中相距较远的点,投影到低维空间中,希望它们之间仍相距较远。反之亦然。
3. 局部保持投影(LPP)[3]4. 等距映射(Isomap)[4]等等。。。
浙江大学何晓飞老师有个关于流形学习的报告,有兴趣可以看下。http://www.cad.zju.edu.cn/reports/%C1%F7%D0%CE%D1%A7%CF%B0.pdf
[1] Roweis, Sam T and Saul, Lawrence K. Nonlinear dimensionality reduction by locally linear embedding. Science, 290(5500). 2000: 2323-2326.
[2] Belkin, Mikhail and Niyogi, Partha. Laplacian eigenmaps for dimensionality reduction and data representation. Neural computation. 15(6). 2003:1373-1396.
[3] He, Xiaofei and Niyogi, Partha. Locality preserving projections. NIPS. 2003:234-241.
[4] Tenenbaum, Joshua B and De Silva, Vin and Langford, John C. A global geometric framework for nonlinear dimensionality reduction. Science, 290(5500). 2000: 2319-2323.
通俗解释:
作者:小寻鹿的暮暮
链接:https://www.zhihu.com/question/24015486/answer/194284643
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
参考资料
[1]Manifold - Wikipedia[2]Nonlinear dimensionality reduction[3] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in neural information processing systems. 2014: 2672-2680.[4] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J]. arXiv preprint arXiv:1511.06434, 2015.
后记
DCGAN这篇文章除了通过插值方法以外,还用了其他很多方法来验证编码空间是不是流型空间。我觉得这篇文章的贡献不只在于DCGAN这个模型,而在于后面很多实验的分析,毕竟是发在ICLR上的文章,搞的都是“特征工程”。其中的实验部分非常值得一看~
作者:小寻鹿的暮暮
链接:https://www.zhihu.com/question/24015486/answer/194284643
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。