Docker 启动一个容器时可以限制CPU和内存的使用。Docker启动时容器时并不会进行可用资源的检查。容器运行时，由系统根据它配置的限额进行监控，如果内存超限，则被系统杀...
发简信
IP属地：陕西
-
关于容器和K8S的资源限制
-
关于混合精度训练
最早大家都用FP32进行模型的训练，里边的权重，输入，激活值，梯度等都是用FP32存储和计算的。但是人们总是想让训练更快，占用显存更小。于是有人想：神经网络里只是拟合，并不需...
-
在HuggingFace里创建模型
假设你已经知道在pytorch里如何创建模型了，那么HuggingFace在创建模型的功能上又增加了哪些新的便利吗？HuggingFace将关于模型的定义分为了3个部分： P...
-
在pytorch里定义模型
利用深度学习框架定义一个模型，作为开发者都有哪些需求呢？首先看模型是什么，模型应该包含以下部分： 模型的基本架构，就是模型内各个层，模块是怎么互相配合的。 模型的超参数，对模...
-
HuggingFace里加载数据
Pytorch里的数据加载比较通用，这样学习简单，但是在你频繁处理一些文本加载，图片加载等问题时，有很多重复的代码，每次都需要写。HuggingFace的dataset做个更...
-
在Pytorch里加载数据
我们的期望 说到加载数据，我们首先想一下，在深度学习里对于数据加载都有哪些需求。 对于小数据，我们可以直接加载到内存。每个batch将数据放入训练循环中。 对于大的数据，不能...
-
HuggingFace- Datasets里的概念Arrow Arrow让大量的数据可以被快速的处理和移动。它是一种在内存中列式存储的格式。他提供了几个明显的优势： Arrow的标准格式允许零拷贝读取，这实际上消除了所有序列...
-
HuggingFace- 加载Dataset
你的数据可以被存在不同的地方，可以再本地机器的硬盘，可以在Github上，可以在内存里的数据结构里，比如Python的dict，Pandas的DataFrames。不管数据集...
-
HuggingFace- 关于Dataset有两种类型的数据集对象，一个普通的Dataset，一个是IterableDataset。Dataset提供了对行的快速随机访问和内存映射，因此即使加载大型数据集也只使用相对较...
-
HuggingFace- 从Hub加载数据
找到高质量的可复现和访问的数据集是很困难的。HuggingFace的Dataset的一个主要目标是提供一个简单的方法可以以任意格式或者类型来加载一个数据集。最简单的开始的方法...
-
HuggingFace-Datasets Quickstart
HuggingFace的Datasets是一个为了方便访问和共享数据的库，它包含了音频，视频，和NLP数据。只用一行代码就可以加载数据。并且可以用强大的数据处理方法来快速的把...
-
HuggingFace-利用Accelerate进行分布式训练
随着模型越来越大，平行训练策略成为了一种在有限的硬件资源上训练大模型并且把训练速度提高几个数量级的策略。在HuggingFace里，我们创建了Accelerate包帮助用户在...
-
HuggingFace-微调一个预训练模型
用预训练模型有很多好处，它降低了计算的花费，碳足迹，让你不用从头训练就可以使用最新的模型。HuggingFace Transformers提供了包含多种任务几千种的模型。当你...
-
HuggingFace-预处理数据在你用数据训练你的模型前，数据必须被预处理成模型期望的输入格式。不论你的模型是文本， 图片，或者是音频。他们都需要被转化并组装成批量的tensor。HuggingFace T...
-
HuggingFace-利用AutoClass写出可移植的代码
用AutoClass加载一个预训练的实例 HuggingFace上有很多模型，为你的checkpoint选择对应的模型架构是非常难得。HuggingFace Transfor...
-
HuggingFace-利用pipeline进行推理
pipeline让利用Hub上的任何模型进行推理变得简单，包括NLP，计算机视觉，语音和多模态的任务。即使你对这个领域不太熟悉，或者不清楚背后的实现原理。你依然可以利用pip...
-
HuggingFace-Quick tour
不论你是开发者还是用户，这个快速教程都可以帮助你入门并展示给你如何利用pipeline(), 对于推理来说，用AutoClass来加载一个预训练的模型和预处理器（prepro...
-
HuggingFace-Transformers
Transformers最先进的机器学习框架，支持Pytorch，TensorFlow和JAX。 Transformers提供了API和工具，可以方便的下载和训练目前最先进的...
-
TensorFlow和Pytorch学习之二：创建自己的网络
什么是自定义网络？ 简单来说你的网络应该具备以下两点： 定义一个前向传播，可以输入input，获取预测值。 可以获取你这个网络参与前向传播计算的参数值。你之要给出了上边两个信...
-
TensorFlow 和 Pytorch 学习之一：正向和反向传播
对于一个深度学习框架来说，最基本的功能就是正向和反向传播了，我们先一起来看看两个框架是如何提供支持的。 一. 如果我们自己来设计 假设我们有神经网络的理论知识，如果我们自己来...