当前,在BERT等预训练模型的基础上进行微调已经成了NLP任务的一个定式了。为了了解BERT怎么用,在这次实践中,我实现了一个最简单的NLP任务,即文本情感分类。 1.基于B...
当前,在BERT等预训练模型的基础上进行微调已经成了NLP任务的一个定式了。为了了解BERT怎么用,在这次实践中,我实现了一个最简单的NLP任务,即文本情感分类。 1.基于B...
1.数据集准备 本例采用了pytorch教程提供的蜜蜂、蚂蚁二分类数据集(点击可直接下载)[https://download.pytorch.org/tutorial/hym...
机器学习简单来讲就是要在数据中训练出一个模型,能够将输入映射成合理的输出。所以,在训练模型之前,我们首先准备好输入、输出对;然后再利用这些输入、输出对来优化模型,使模型的LO...
1 元学习概述 元学习的意思即“学会如何学习” 。 在机器学习中,工作量最大也是最无聊的事情就是调参。我们针对每一个任务从头开始进行这种无聊的调参,然后耗费大量的时间去训练...
1 题外话:人类棋手的最后赞礼 2016年3月15日,AlphaGo以4:1的比分击败了人类的传奇棋手李世石。在李世石折戟沉沙的当晚,一个名叫柯洁的中国少年站出来说,“就算A...
领域自适应(Domain adaption)——实现模型的自适应迁移 1 领域自适应网络概述 有时候我们在某个领域训练出的一个模型,想迁移到另一个领域,这样我们就不需要每个领...
1 生成对抗网络概述 有时候我们希望网络具有一定的创造力,比如画画、编曲等等,能否实现呢?是可以实现的,大家可以鉴别一下下面这几张照片,哪些是真实的人脸,哪些是机器生成的人脸...
1 自监督学习的概念 在机器学习中,最常见的是监督学习(Supervised learning)。假设模型的输入是,输出是,我们如何使模型输出我们期望的呢?我们得拥有已标注的...
1 Transformer 概述 在机器学习中,我们有很多任务都是 “序列to序列” 的形式,比如语音识别、机器翻译、文本标注等等。而且在这些任务中,输入序列和输出序列的长度...
1 自注意力机制概述 有时候我们期望网络能够看到全局,但是又要聚焦到重点信息上。比如在在做自然语言处理时,句子中的一个词往往不是独立的,和它上下文相关,但是和上下文中不同的词...
卷积神经网络(Convolutional Neural Networks, CNN)——更有效率地提取特征 1 全连接神经网络的问题 图像识别问题本质上就是分类问题,比如我们...
1. 深度学习概述 深度学习本质上是神经网络。只是神经网络这个词在80、90年代的时候被搞臭了,因为当时神经网络被吹捧得过于浮夸,最后弄得大家都很厌恶神经网络这个词。只要把神...
1. 机器学习概述 在一次散步时,我们告诉一个从没见过猫狗的小朋友这是猫、那是狗,小朋友在下一次见到猫狗时就能基于上一次的经验准确的分辨出猫和狗了,这是我们人类的学习。所谓机...
现在“智能”两个字已经泛滥了,无论哪个领域都要赶个时髦,给自己的产品打上“智能”的标签。例如“智能台灯”、“智能水杯”等,这些东西无非是连接了WiFi,能够远程控制或者简单的...
本文是李宏毅教授《机器学习》课程的学习笔记,简要地介绍了深度学习的基本概念及常见网络架构,包括卷积神经网络、自注意力机制、Transformer、BERT、生成对抗网络、领域...
刚提交完博士学位论文,一些提高写作效率的神器想给大家分享一下。在撰写论文过程中,最麻烦的不过公式编辑和文献插入,我想给大家推荐一些工具,可以提高公式编辑和文献插入的效率。 公...