2021李宏毅机器学习 2.1 机器学习任务攻略

机器学习训练三步:

定目标函数,定损失函数,进行优化

怎么样提高模型的表现?

• 检查training data的loss:

    ○ 若train loss很大:

        § 可能是model bias的问题,所选的model太过于简单了,无论怎么样优化参数,都不可能找到一个很好的model去拟合training data。

        解决方案:重新设计model,让model变得更复杂:可以增加更多的feature,或者是在deep learning中增加更多神经元或者更多层来解决这个问题。

        § 可能是优化的问题,陷入了局部最优解,没有找到全局最优解。

        如何判断原因?可以先使用简单一些的神经网络或者其他模型进行训练,看一下训练集的loss表现,复杂一些的模型如果训练集loss表现更差,那肯定是没优化好,不可能是model bias的问题。因此复杂模型test loss差不一定就是过拟合,若train loss也差,那证明优化没做好。(下节课讲怎么进一步优化参数)

    ○ 若train loss很小:

        § 看test loss的表现:

            □ 若test loss也很小,那表现很好,就结束啦。

            □ 若test loss很大的话:

                ® overfitting过拟合:可以增加training data的规模,这样model自由发挥的可能性被限制了(可能你用的model弹性很好很复杂),过拟合的可能性就比较小;

                在不能额外搜集training data的情况下,可以做data augmentation,根据自己对任务的理解和资料的特性去扩大数据规模,比如在图像处理中,把图片左右翻转,把某一块单独截出来作为另一个图片之类的。但要注意augmentation的合理性,比如上下颠倒图片就并不是很合理。

                也可以降低模型的复杂性(老师说的弹性),给模型一个限制, 比如降低神经元的数目,或者让神经元共用参数,可以减少特征的数量,可以早停、正则化或者dropout。


                ® mismatch:由于训练资料和测试资料的分布不同,导致了测试的失败。这种情况下增加训练集什么的也没用了。(作业11会针对这个问题进行解决)



如何选择出表现最好的模型?

把测试集变成train和validation两部分,根据validation loss的结果来选择模型,尽量不要去看testing set的结果去调模型,避免overfitting test set,因为test set是用来代表未知的真实情况的,过拟合test set是没用的。

要使用交叉验证n-fold cross validation,避免数据集划分造成的影响。看val loss平均最小的那一个。


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,179评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,229评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,032评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,533评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,531评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,539评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,916评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,813评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,568评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,654评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,354评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,937评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,918评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,152评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,852评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,378评论 2 342

推荐阅读更多精彩内容