一、低秩分解的含义 低秩分解本质是一种矩阵分解技术，旨在将一个矩阵分解为两个或多个矩阵的乘积，从而将高维数据压缩为低维表示，以减少参数量。在大模型中，权重矩阵通常非常大，尤其...
发简信
IP属地：台湾
-
模型压缩和加速——低秩分解（Low-rank Decomposition）及其pytorch实现
-
__init__.py基本原理 __init__.py文件的主要作用有： 标识包：告诉Python解释器这个目录应该被视为一个Python包。 初始化代码：可以在这个文件中执行包级别的初始化代码。...
-
大模型的模型压缩与加速方法总结
一、概述 需要做模型压缩的原因在于我们有将模型部署在资源受限的设备上的需求，在这些设备上有受限的存储空间和受限的计算能力。本文主要介绍7种常用方法。 二、总结 方法名称简要描...
-
模型压缩和加速——参数量化（Parameter Quantization）及其pytorch实现
参数量化（Parameter Quantization）是一种有效的模型压缩技术，通过减少模型参数的位宽（例如从32位浮点数减少到8位整数）来减少模型的存储空间和计算复杂度。...
-
模型压缩和加速——参数共享（Parameter Sharing）及其pytorch实现
一、参数共享含义 参数共享（Parameter Sharing）是模型压缩与加速中的一种重要技术。通过参数共享，多个神经元或层可以共享相同的权重参数，而不是每个神经元或层都有...
-
模型压缩和加速——网络剪枝（Network Pruning）及其pytorch实现
一、网络剪枝的步骤 神经网络中的一些权重和神经元是可以被剪枝的，这是因为这些权重可能为零或者神经元的输出大多数时候为零，表明这些权重或神经元是冗余的。网络剪枝的过程主要分以下...
-
我又重新长大了一次——《杀死一只知更鸟》读后感一、童年 阅读这本书，宛如轻启一扇回忆之窗，温暖明媚的阳光倾泻而下，我的思绪在鹅卵石路上欢快跳跃，一路引领我回到那遥远而可爱的童年时光。斯库特和杰姆这对兄妹，以及迪尔这个小活...
-
基于人类反馈的进行强化学习：RLHF
一、RLHF的概念 LLM生成的内容需对齐（Aligned）人类的价值观念，如道德要求等等，已致有学者提出了“宪法 AI”（Constitutional AI）的概念。强化学...
-
高等数学复习笔记8（多元导数的应用）
一、曲线函数及其导数 从参数方程形式引入“曲线的导数”更加容易。空间中的一个曲线可以表示成参数方程：若把上面的方程组写成向量形式，就叫做一元向量值函数。是假设质点沿着曲线运动...