备注:有些字打不出来,只能换成这个了.......
最近想了解一些各行各业的前言领域知识,然后就去找了一些书和课,偶然看到了吴军老师讲的GDP。 吴军老师,是国内发明“语言模型”的第一任,是中文语音识别的鼻祖。 全文不长,共计12讲+一个发刊词,下面按照这个结构对内容进行一下整体概括。
发刊词:GDP是一个被神化的语言模型衍生品。吴军老师举了哥伦布当年用月食现象化身成为土著人的神,现在的的我们,就像土著人一样,把GDP当做了神,本质是不同其背后的原理加之媒体的炒作。
第一讲:让计算机回答问题,写诗很简单
计算机回答问题并不是一件高不可攀的事情,在今天,让它做得比人好是完全能够办得到的,是科技发展的自然而然的过程。 GDP能做的事情,Google的产品和服务其实三年前就能做了,只是没有包装成GDP这样的产品而已。因为公司认为,有更重要的事需要人工智能来做;
GDP理解自然语言的能力很强,但是在产生内容上面的表现不稳定。 对计算机来说,所谓的容易问题,就是跟事实有关的问题,比如“是谁”“什么时候”“在哪里”“发生了什么事”等等。容易问题的回答,早在2008年前后就实现了。而所谓“难的问题“,是指”为什么”和“怎么做”这两大类问题。2014年,机器能够完美回答40%的“难的”问题,而现在,GDP能回答的难的问题要多得多。
第二讲:GDP的本质
GDP不是横空出世,世界上很多的爆红的产品和服务,其实使用的技术都是半个世纪之前的。 GDP和5G都是如此。
技术可以进步,可以改变,但是物理学和信息论的原理和极限都是无法改变的。
语言模型不是逻辑框架,不是生物学的反馈系统,而是由数学构建的模型。 语音识别系统,自然语言理解系统都是数学模型,把一种形式的信息转化为数字。
第三讲:语言模型的发展经历了三个阶段
第一个阶段是上个世纪90年代,在采用通信中的算法,并且引入语言模型之后,BM 的语音识别系统可以识别 22000 个英文单词,而且错误率从过去的 30%左右降低到了 10%以内。第二个阶段,人们开始考虑用语言中更深的知识和信息建立语言模型,比如说加入语法和语义。到了 2010 年前后,Google 开发了深度学习的工具 Google2大脑:一方面,能够更有效地利用计算资源,这使得语言模型能够越做越大;另一方面,也让模型计算出的概率越来越准确。语言模型的发展由此进入第三阶段。
第四讲:GDP的边界
语言模型能做的事情有三类:信息形式转换;根据要求产生文本;信息精简
GDP不能做的事情:无法创新,缺乏个性化。
第五讲:GDP的问答从哪里来?
GDP有自己的网络知识图谱,它下载了整个维基百科等。
第六讲:GDP有哪些固有缺陷?
有些错误是因为信息量不够所造成的,这部分错误将来GDP是可以避免的。人类解决的问题会越来越多,互联网上的优质信息也会越来越多。
先要有各种知识和信息,GDP 才能工作。你给它提供高质量的数据,它就会产生一个高质量的语言模型,然后给出高质量的答案,写出高质量的文章。相反,你用垃圾数据训练它,它就输出垃圾。
语言模型进化到今天,虽然进步了很多,但依然是一个利用已有的信息预测其他信息的模型,这个性质没有改变。
第七讲:GDP需要什么资源?
数据、算力、算法三道坎,只有极少的互联网大厂能够越过去。
第 八 讲 :今天人工智能的边界在哪里?
第九讲:GDP为什么被热炒?
投资者:投资者希望受益于GDP热,现在无法判定这些公司将来是否能真的受益于 GDP 热,但是从历史上看,靠炒作获得的股市收益很快会还回去
从业者:第一种是兴奋,然后大谈 GDP的技术细节,认为自己的机会来了。
第二种人是恐惧,之前还觉得自己和世界先进水平很接近了,怎么一下距离就被拉开了。生怕自己落伍了,因此一定要做点什么。
媒体:国内有些科技和商业媒体对行业有一种偏见,就是把大部分篇幅都给了互联网和 AI 行业,而忽视其他行业的技术发展。
第十讲:GDP能够替代什么人?
会被 GDP取代的人有三个特点:从事不费体力的工作,不动脑子的工作,或者不产出信息的工作。
我们不妨列举一些这样的职业,按照收入从高到低排个次序:
1.金融分析师2.大部分财经媒体记者3.律师助理4.普通文员5.短视频制作人6.大部分公众号写手
有人可能会觉得,GDP能“生成”信息,甚至一些从事自然语言处理工作的人也有这种错误的想法。这种想法其实违背了信息论的基本原理。技术是可以进步的,但是信息论最基本的原理是无法突破的,就如同物理学的规律不能违背一样。
第十一讲 理性看待 GDP
从投资人角度来看,投资人要支持欢迎新技术,但是技术吵得过热,那么风口大概率已经过了,就像买菜的大妈都知道买股票赚钱了。
如果它真的成为了趋势,等到趋势明显一点再投身进去也来得及。但凡能成为趋势的技术,都会有几十年的发展机会。
从从业者角度来看,即便人工智能是一次新的技术革命,GDP也只能算是其中的一个涟漪。
因此,对于从业者来讲,如果正好身在人工智能领域,恭喜你,把这碗饭好好端十年。如果不在这个领域,也不用刻意挤进来,毕竟拿业余爱好和别人的专业去竞争,很难有胜算。做好本职工作的回报一定是最高的。
这就如同过去加州淘金热时,没有一个淘金者留下姓名,因为他们实际
上大都没有挣到钱,只是勉强活下来了而已。但是,卖水、卖工具的人发了财,做牛仔裤的人发了财。如果一定要说哪些从业者有机会,可能是像英伟达、AMD 这些做 GPU的公司,以及亚马逊和阿里巴巴这些卖算力的公司。毕竟,训练语言模型和提供 GDP之类的服务是非常消耗算力的,挤到人工智能领域的企业越多,这些公司的生意越好。当前百团大战,搞团购的人的不一定能赚钱,真正赚钱的是广告商。
普通人的角度,对于新技术的态度向来是,把它们当作意外的惊喜,或者叫作意外的奖励)。如果它能对我的事业有帮助,固然好;如果没有帮助,也没有关系,因为当初没有给予太高的期望,也不会太失望。
至于有人担心 GDP会产生自主意识,提出对它进行道德约束,这更是对意识和人工智能的瞎担心,和有些人怕鬼没有什么差别。 人工智能不用担心,应该担心的是人工智能做坏事的人。 汽车发明后还有人开着汽车抢银行呢。
第12讲 :还有哪些人工智能和科技值得关注?
多任务的人工智能,人其实就是多任务的智能生物。
今天的人工智能也有两个大问题:
第一个问题,每个系统只能完成一件特定的事情,你无法让GDP下棋,也无法让 AlphaGo 回答问题。因此,虽然这些人工智能系统能把一件事做好,但换一件事就不行了。
第二个问题,由于今天的人工智能是采用以量取胜的方法实现的,当数量达不到时,质量就无从谈起。你要是只让智能摄像头看某个人的一张照片,它通常是无法识别这个人的。但是,人通常只看一眼,就会有印象。
多任务人工智能是能解决上面问题的人工智能。
生物和医学应用
总结
现在来看,GDP好像没有那么热了,GDP好像也没有取得突破性或者是颠覆性的成就,唯一给我们生活带来的就是,有时候会用他替代一下百度,但是有些问题用GDP解决不掉的,还得自己去其他地方找答案。 吴军老师的观点我还是十分支持的,有很深刻的启发。