深度学习入坑指南:来自七位大牛的意见

吴教授的深度学习课程到现在只放出三部分,也很简单,结果在试听阶段花了几天就看完了,拿了证,忘点取消订阅,一下刷了我好几百,瞬间想剁手。

转念一想,就当是支持吴教授搞革命,瞬间就不心痛了。

这门课特殊之处,除了是由吴教授讲以外,他还利用他的人脉,把目前整个深度学习领域的大牛都拉过来,进小黑屋谈话。来,说说,你是怎么走到今天这一步的,对于想要入坑 AI 和深度学习的小朋友们有什么建议啊。

于是我就把这些建议整理了一下。

主要几点如下。

  1. 读足够多的文献,获得对这个领域的大概认识和研究直觉。推荐读每年ICLR的论文,获得当前领域的发展现状。

  2. 有了直觉之后,相信自己直觉,找一个研究问题,不要在意别人怎么说,研究下去

  3. 不能光读看文献。最好要多编程,多尝试去重新实现论文里的系统。也可以边看书,边实现一个项目。并且将代码放上Github,获得更多的机会。

  4. 现在网上有很多资源,充分利用网上的资源,进行学习。比如学习一个框架,还有网上高手写的基准模型。

  5. 不要只会从顶层利用框架,最好从底层能够理解这些是怎么实现的,自己尝试实现一遍

下面是各位大牛具体的建议,也有关于各位大牛的简短介绍。

Geoffrey Hinton (AI 教父,反向传播算法主要推动者之一)

  1. 虽然大部分人的建议是,先花个几年时间读文献,然后才开始实现自己的想法。但对于一个创新型的研究者来说,反而少读一些文献会比较好。

  2. 相信自己的直觉

    注意一些你认为大家都做错了的地方,那里看起来感觉就是不对的地方,然后你想出来怎么解决它。即使别人说这不对,也不要管,坚持干自己的就可以了。如果你的直觉很好的话,那么你终将获得成功;即使直觉不是很好,也没多大影响。

  3. 一定要不停地编程

    通过不仅仅只是读一篇论文,而是重新实现论文。因为当你通过实现论文,你会发现其中有很多编程小技巧使得系统最后得以成功,这是很重要的。

  4. 关于研究生选导师,尽量选择和你有相同信仰,相同想法的老师。这样他能给你很多好的建议。

总结一下就是,读足够文献知道你开始产生自己的直觉,然后相信自己的直觉去实现它,不要在意其他人是怎么说的,因为他们说的都是没什么意义的。

特别提一点,当你想出一个好主意,而其他人都觉得很没有意义,那么这就是一个非常好的主意的标志

Pieter Abbeel (深度强化学习大牛)

  1. 现在是一个进入AI界很好的时机,有很多工作需求,也有很多事情你可以做,比如选择一个研究方向研究,或是建立自己新公司等等。

  2. 自学,不管你是在学校还是已经工作了。这里有很多好的资源,吴教授的Machine Learning啊、Andrej Karpathy的深度学习课程啊、加州伯克利的深度强化学习课程啊...

  3. 自己动手做,不要光是看视频。选一个自己喜欢的框架,如TensorFlow、Chainer、 Theano、 PyTorch 等等,然后开始自己写代码。

  4. 是否取得Phd,这要看你在哪边能获得更多的指导了。我更倾向于Phd。

Ian Goodfellow (生成对抗性网络发明者,深度学习教科书作者之一)

[图片上传失败...(image-da3fa7-1536970128029)]

  1. 很多人认为进入AI界一定要获得Phd学位,或者其他一些认证。但是我不认为这真的重要,你也可以通过编很好的代码然后放在Github上,来获得大量的关注。我在OpenAI还有Google,很多人都是这样被雇用的。而且有时候写一个有用的软件,可能也比写一篇好的论文简单。

  2. 一边读书和资料,一边练习,然后放在Github上。我认为最好是边读书,边尝试实现一个项目。你可以选择在自己喜欢领域来实现,也可以去网上找很多项目挑感兴趣的重新实现,如街景房牌识别器。

Yoshua Bengio (深度学习加拿大黑手党三人之一,也包括Hinton)

image
  1. 虽然深度学习研究人员和开发者的要求有很大不同,但是相同的一点是,需要大量阅读,然后自己实践练习

  2. 特别是,不要光会使用框架,而对底层的原理一点都不了解。尝试自己来实现一下底层,即使没有什么效率。这样你才能够真正理解,什么是有用的什么是没用的。而且我还会要求进一步,最好是自己用数学公式推导一遍。试图理解一切你所做的事情,问自己为什么要做这个,为什么其他人要做这个。

  3. 去读ICLR的论文,能够获得一个很好的当前该领域的发展概况。

  4. 读论文时不要害怕数学公式,大量阅读可以获得一种直觉,然后公式就会自然而然变得很好理解。

  5. 一个很好的消息就是,你不需要五年专业训练才能熟练掌握深度学习,现在你有计算机和数学背景的话,可能几个月就可以了。有系统性的训练的话,六个月就够了

林元庆 (中国深度学习第一人,百度深度学习实验室主任)

  1. 可以先从一个开源框架学起,现在这里有很多网上的资源教你怎么用它们。

  2. 而且现在也有很多公开了的基准实现案例,你可从这些很有经验的人写的模型中学到很多。

Andrej Karpathy (特斯拉人工智能总监,深度学习重要旗手之一)

从底层自己来全部实现一遍,不要只知道抽象的概念

这也是人们上我的cs231n时,最感谢我的地方。当你实验了底层的东西,那么你实现上层的东西时候就不会感觉到不适,因为你知道这下面都发生了什么。于是,你也能够快速地调试自己的程序,快速的完善提高自己的模型。

Ruslan Salakhutdinov (苹果人工智能总监)

  1. 尝试各种各样的事情,不要害怕去创新,去解决困难问题

    举个例子,当我还是个研究生时,因为神经网络是非凸系统,所以很难优化。我还记得和最优化领域的朋友聊天时,他们总是说这些问题无法解决因为它们是非凸的。但实际上,在我们实验室,从来没有人关心过这件事情,我们只想着怎么优化然后获得有趣的结果。反而是这样推动了领域的发展。

  2. 不要只从顶层使用深度学习,要从底层来理解它们。

DeepLearning MOOCs:

  1. Coursera: Andrew Ng - Deep Learning ai
  2. Coursera: Geoffrey Hinton - Neural Networks for Machine Learning
  3. Udacity: Deep Learning Foundation Nanodegree
  4. Fast.ai course
  5. Université de Sherbrooke - Hugo Larochelle - Neural networks class
  6. Stanford: CS231n: Convolutional Neural Networks for Visual Recognition
  7. Stanford: CS224n: Natural Language Processing with Deep Learning
  8. Berkeley: CS 294: Deep Reinforcement Learning
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,711评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,932评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,770评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,799评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,697评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,069评论 1 276
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,535评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,200评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,353评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,290评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,331评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,020评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,610评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,694评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,927评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,330评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,904评论 2 341

推荐阅读更多精彩内容