机器学习必然需要大量数据吗

目前的机器学习大多需要大量数据,相比而言,人类接收少量数据就能达到同样的效果,因此机器常被批评不够聪明。这种批评有一定道理,但是存在两点问题。首先,批评者忽视了人类在漫长的进化过程中学习过大量数据,并且以基因的形式将学习结果传递至今。人类出生时并不是一块白板,大脑已经具备了基本结构和学习潜力,所以人类只需要少量数据其实是曾经的大量数据训练的结果。其次,人类在成长过程中也经历了大量训练,例如某人从小到大虽然只见过几百只猫,但由于人眼相当于高速摄像机,不间断地拍摄了大量图片,所以其实接收了非常多的训练数据。

当然,不可否认大脑是非常巧妙的。也许有人会说进化过程中的数据和目前的数据差异巨大,不具有足够的价值,但是大脑事实上是通过大量数据学会了如何学习,从而具有很强的迁移能力。此外,大脑也具有很强的想象能力,例如马航MH370失联后,搜索人员希望通过分析南印度洋的卫星图像寻找可能的飞机残骸,但是发现计算机识别的准确率极低。相比而言,人类的分辨能力就要强得多,因为虽然飞机残骸非常不规则,但是人类能够通过飞机的样子想象出飞机的各种残骸的样子。[1]除了迁移、想象能力,大脑还有很多非常优越的能力。

大脑的这些能力使得它只需要少量数据,如果人类无法直接设计出和大脑同等巧妙的机器,那么只能通过大量训练来弥补,要想既不需要完善的结构又只需要少量数据是不可能的,这其实是另一个版本的“没有免费午餐”定理(No Free Lunch Theorem,简称NFL定理)。

NFL定理是机器学习中的一个著名定理,指的是抛开实际情况,任何算法的期望性能都和随机猜测没有区别。例如下面这个例子[2]:

A、B曲线都能完全拟合训练集,但是真实情况可能是A也可能是B,或者二者都不是,因此不同算法的期望性能是相同的。这是在训练样本数量有限的情况下必然会出现的问题。

如果希望找到更确切的拟合曲线,要么增加训练样本,要么增加外部信息。外部信息是指来自实际情况的助于判断的信息,例如大脑的迁移能力就是一种获得外部信息的能力,大脑通过类似的例子来帮助判断。在上面这个例子中,我们倾向于认为平滑的A曲线能够更好地拟合真实情况,这源于我们的经验,经验就是一种外部信息。近些年兴起的小样本学习(Few-shot Learning)的基本思路就是加入外部信息,通过已有知识的迁移来增强泛化能力。

总而言之,机器学习不一定需要大量数据,但是要取得良好效果必须加入外部信息,或者说使机器拥有额外的判断能力。机器需要大量数据来学习是正常的,人类也曾经在进化过程中这么做过,但是人类作为“过来人”应该指导机器——设计更巧妙的硬件、编写更巧妙的程序,使得机器不需要太多的数据,这其实是人类在为机器提供外部信息。最后,值得一提的是,小样本学习和大数据并不矛盾,大数据相当于统计数据,对于社会管理、资源调度、决策等等都是非常重要的,具有少量数据无法替代的作用。


参考资料

1 [美]皮埃罗·斯加鲁菲.《智能的本质:人工智能与机器人领域的64个大问题》. 人民邮电出版社. 2017. 140页

2 周志华.《机器学习》. 清华大学出版社. 2016. 7-9页

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,393评论 5 467
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,790评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,391评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,703评论 1 270
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,613评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,003评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,507评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,158评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,300评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,256评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,274评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,984评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,569评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,662评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,899评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,268评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,840评论 2 339

推荐阅读更多精彩内容