introduction
当数据集小的时候,用verification loss, 可以减小类内距离,增加类间距离,但是随着数据集的增大,这样做的开销太大,于是大家开始用identification loss ,也即classification loss,但是这样做只能增加类间距离,不能减小类内距离,于是就有一些文章开始将两种loss结合起来做,比如这两篇:Adiscriminativelylearned cnn embedding for person re-identification 和 Deep transfer learning for person re-identification.但是verification loss引起的效率问题依旧存在。
另外,还有一个问题就是the existing deep embedding models draw little attention to the importance of each embedding dimension,意思就是现在的一些方法把embedding的每个维度等同看待,每个维度的差简单相加(比如L2),如果有办法给每个维度加一个权重,那想必是极好的。
作者提出的方法是用identification loss with center loss to train the deep model, which does not require image pairs or triplets as input.Center loss aims to pull images to the corresponding class center so that the intra-class variance is reduced.关于center loss 的文章A discriminative feature learning approach for deep face recognition
总结一下这篇文章的重点,有两个,一个是identification loss + center loss 另一个是FRW,即新加了一个层,学习每个embedding 维度的权重。
model
网络结构
网络结构如下图所示
loss
identification loss的公式如下所示:
center loss 的公式如下所示,作用是减小类内的距离:
下面两个链接是对center loss的解读链接1 链接2 提出center loss 的论文是这篇paper 我还没有仔细读过
FRW layer
原本的度量两个特征之间的相似性,比如用L2loss算距离,是认为每一维的权重是一样的,但是作者认为cnn应该需要有学习这个权重的能力。所以这个层的作者就是这样,全名叫 feature reweight layer。具体见paper的第3.3节
training
有两个策略,对于大的数据集如cuhk03,直接训练,对于小的,用transfer learning,即在大的数据集上预训练,然后移除最后一层(softmax classifier),换成另一个softmax classifier(因为两个数据集ID数不同)。