论文阅读《TRANSITIVE TRANSFER SPARSE CODING FOR DISTANT DOMAIN》

八月啦!小李月更来了!
时间过得好快 好像一个夏天就要过了!这个夏天因为留校 感觉压力比以往来得多 也经历了比以往更苦的事 只希望努力不会白费 都值得!

论文名称:
《TRANSITIVE TRANSFER SPARSE CODING FOR DISTANT DOMAIN》
论文地址:https://ieeexplore.ieee.org/document/9415021
论文参考阅读:https://blog.csdn.net/qq_39751437/article/details/106290640

Background

The transfer learning between the source and target domain has already achieved significant success in machine learning areas.
However, the existing methods can not achieve satisfactory result when solving the two distant domains transfer learning problem.
In the worst case, it could lead to the negative transfer.
源域和目标域之间的迁移学习已经在机器学习领域取得了重大成功。
然而,现有的方法在解决两个远域迁移学习问题时,并不能得到令人满意的结果。
在最坏的情况下,它可能会导致负转移。
此篇文章就是针对距离较远的域 跨域迁移学习的问题展开研究。

补充:
迁移学习指利用数据和领域之间存在的相似性关系,把之前学习到的知识,应用于新的未知领域。
负迁移是指迁移学习中这个相似性不合理,,即两个领域之间不存在相似性,或者基本不相似,那么,就会大大损害迁移学习的效果。

Work

In this paper, we propose a novel framework to solve the DDTL problem called transitive transfer sparse coding (TTSC).
First, TTSC can utilize three domains to learn a high-level dictionary and to simultaneously obtain three sparse representations.
Second, TTSC can achieve valid instances selection and can transfer useful
knowledge between the two distant domains.
Finally, TTSC can help build a precise classifier for the target domain.
我们提出了一个新的框架来解决远距离迁移学习即传递转移稀疏编码(TTSC)
首先,TTSC可以利用三个领域来学习一个高级字典,并同时获得三个稀疏表示。
其次,TTSC可以实现有效的实例选择,并可以在两个遥远域之间传输有用的知识。
最后,TTSC可以帮助为目标域构建一个精确的分类器。

Method

问题定义:

远距离的迁移学习包括源域 中间域 目标域
源域和中间域具有一些相似的特征,中间域和目标域具有一些相似的特征,但源域和目标域的特征不相似或基本不相同。
这边补充一下 传递式迁移学习(相当于利用中间域迁移学习 直接放图更详细一点)

The first goal is to construct a robust and high-level dictionary based on three domains and to simultaneously obtain three good sparse representations.
The second goal is to transfer useful instances from the source domain to the target domain based on the robust dictionary and sparse representations.
TTSC两个目标:
1.构建一个强大的基于三个域的高级词典同时获得三个良好的稀疏表示。
2实现有用的实例选择策略基于健壮的字典和稀疏表示从源域到目标选择有用的实例
针对第一个目标,本文方法修改了图正则化稀疏编码方法,
它可以获得一组基向量,并捕获跨三个领域的内在几何信息。
这样一来,TTSC就可以提取三个域提取稀疏表示,并通过中间域构建高级字典。
tr(·) denotes the trace of the input matrices. B and L represent dictionary matrix and graph-laplacian matrix
针对第一个目标,本文设计了三种不同的样本选择策略模型。但对于这三种模型,源域的选择策略是相同的

TTSC-A模型:利用源域标记的信息和源域的重建错误来选择有用的源域实例。
TTSC-B模型:从源域和中间领域转移有价值的知识。对于每个中间域实例,利用源域构造伪标签
TTSC-C模型:仍然从中间域和源域中选择有用的实例。但与TTSC-B模型不同的是,使用TTSC-B模型得到的中间域伪标签作为中间域真标签,然后计算重构误差来选择中间域样本

目标函数优化

具体优化可以看原文这边不展开

Experiment

Dataset



其实原来看这篇文章 最想看的是在远距离跨域上 是如何构造中间域 结果看到数据集这边才一笔带过了 失策失策…哈哈哈哈

论文整体是从改善稀疏表示和学习三个域的特征(包括中间域当做桥梁传递)出发的,结果如上图。

ENDING

八月加油!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,905评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,140评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,791评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,483评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,476评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,516评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,905评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,560评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,778评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,557评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,635评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,338评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,925评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,898评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,142评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,818评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,347评论 2 342

推荐阅读更多精彩内容