1. BPE分词
a). BytePairEncoding(BPE):字节对编码，核心思想是将最常出现的子词对合并，直到词汇表达到预定的大小时停止。
首先预分词器初步切分，分词后统计每个词的频次，根据词汇建立字符表。
分别考察n-gram的基本字符组合。
步骤： 1). 每对相邻字符或子词的频率；2).找到出现频率最高的相邻字符或子词将其合并；3).词汇表中添加该新符号；4).更新输入文本中的所有相邻字符或子词，用新符号替换；5).重新计算各个频率，回到步骤2)；
举例：
2. kvCache
I.
import numpy as np
import scipy as sp
# KV cache demo test实现
np.random.seed(1)
L, l, d = 5, 2, 3
K_past = np.random.randn(L, 3)
V_past = np.random.randn(L, 3)
Q_past = np.random.randn(L, 3)
Q_new = np.random.randn(l, 3)
K_new = np.random.randn(l, 3)
V_new = np.random.randn(l, 3)
def create_custom_matrix(n):
matrix = np.full((n, n), -np.inf)
# 将下三角设置为0， 包括对角线
lower_triangle_indices = np.tril_indices(n)
matrix[lower_triangle_indices] = 0
return matrix
M1 = create_custom_matrix(5)
# print(M1)
# [[ 0. -inf -inf -inf -inf]
# [ 0. 0. -inf -inf -inf]
# [ 0. 0. 0. -inf -inf]
# [ 0. 0. 0. 0. -inf]
# [ 0. 0. 0. 0. 0.]]
res1 = sp.special.softmax((Q_past.dot(K_past.T))/np.sqrt(3)+M1, axis=1)
print(res1)
#[[1. 0. 0. 0. 0. ]
# [0.31935557 0.68064443 0. 0. 0. ]
# [0.23180869 0.2948358 0.47335551 0. 0. ]
# [0.31869784 0.21142259 0.22101567 0.2488639 0. ]
# [0.02938905 0.3782454 0.02471659 0.47838043 0.08926853]]
M2 = create_custom_matrix(7)
Q = np.concatenate([Q_past, Q_new], axis = 0)
print("Q:"+str(Q))
K = np.concatenate([K_past, K_new], axis = 0)
res2 = sp.special.softmax((Q.dot(K.T))/np.sqrt(3)+M2, axis=1)
print(res2)
# [1. 0. 0. 0. 0. 0. 0. ]
# [0.31935557 0.68064443 0. 0. 0. 0. 0. ]
# [0.23180869 0.2948358 0.47335551 0. 0. 0. 0. ]
# [0.31869784 0.21142259 0.22101567 0.2488639 0. 0. 0. ]
# [0.02938905 0.3782454 0.02471659 0.47838043 0.08926853 0. 0. ]
# [0.04433778 0.0163838 0.11655617 0.01732041 0.69794273 0.10745911 0. ]
# [0.12094442 0.12486757 0.13392196 0.17052034 0.15284689 0.09002306 0.20687575]]
# 必须要masked,这就是计算u角度decoder only比双向的更优秀
3. Prompt Learning和Delta Learning
图解：pretrain任务和实际下游task之间是有Gap。
如上图过程就是通过template+verbalizer的方式来打破预训练任务和fine-tuning的差距，也可以通过template和verbalizer不同达成多任务之间的适用。
PromptLearning定义：期望预训练语言模型在下游任务中，不显著改变模型结构和参数的情况，通过向模型加入“提示信息”，只需要模型本身就能解决问题。即通过为输入内容添加额外的文本来更好的挖掘出LLM本身能力的一种方法；
举例：一个输入”I missed the bus today.“进行prompt重构
- 情感预测任务：输入:”I missed the bus today. I felt so ____“. 其中黑体部分就是prompt.然后LM用一个表示情感的词填空
- 翻译任务："English: I missed the bus today. French:___",
结构化template,key-value prompt
DeltaTuning定义：模型本身参数不变或者绝大部分参数不变，只微调少量参数，达到和全参数微调差不多的结果。【DeltaObject：抽象化的解决这个任务的能力的具象化。本质上Pretraining模型已经学习到很多universal knowledge，delta-tuning其实只是对具体知识起到一个激发的作用。Parameter-Efficient Fine-Tuning范式】
*****待插入图片： - 增量式(Addition-based)：
- 指定式(Specification-based)：
4. zero, few, n-shot等
训练相关：
Zero-shot Learning:训练集中没某个类别的样本，但测试集中出现该类别，即使没有接触过该类别样本，仍然可以通过该类别的描述实现分类：
One-shot Learning: 理解为用一条数据fine-tune模型。
Few-shot Learning：训练过程中如果每个类别只有少量样本。人类希望的是学习了大量一定类别的数据后，对新类别只要少量样本就能快速学习。
Prompt相关：
Zero-shot Prompt: 只根据任务的描述生成响应，不需要任何示例
One-shot Prompt: 只提供一个例子
Few-shot Prompt: 提供几个例子，在提示中的作用是通过少量样本引导模型对特定任务进行学习和执行；例如通过提供少量风格或主题示例，引导模型阐述具有相似风格或主题的创作
5. 大模型中的神经元分析
如图80%的输入只有5%的神经元被激活了，没有
参考引用1：
6. LowRank(s-lora)
1.LoRA核心思想：基于低秩的适配器进行优化。行秩指矩阵的线性无关行的个数。在PCA和SVD中都是尝试通过低秩来近似表示一个高维矩阵或数据集。试图找到原始特征空间中少数维度的线性组合，捕捉到数据集中大部分的信息。
2.过参数化：当前LLM参数量过大，所以存在过参数化。事实上很多问题的内在维度比人们认为的小，实际模型去微调也是主要调整的这些低秩内在维度，该结论说明两个现象：a). 一旦找到足够解决问题的参数空间，再增加这个参数空间大小并不会显著提升模型的性能；b).一个过参数化的模型其参数空间是有压缩空间的，这也是lora提出的动机。
具体做法：LLM模型某些矩阵旁插入一个和它并行的新的权值矩阵。
修改结构重新学习一个残差参数再叠加
.
{ PS.: A或者B之一必须用零矩阵初始化。目的是为数据第一次通过网络时和与训练结果一致保证模型初始阶段保持不错效果。}
分析：计算量分析，略微增加。显存分析，因为优化器不需要对原始参数，也不用更新原始参数，残差AB的额外显存占用，但总体上显存减小。速度分析：原始更新参数需要多卡间梯度更新以及同步，由于只更新AB参数，相比，数据量少读写速度大大提升。
input_dim = 768 # 例如，预训练模型的隐藏大小
output_dim = 768 # 例如，层的输出大小
rank = 8 # 低秩适应的等级'r'
W = ... # 来自预训练网络的权重，形状为 input_dim x output_dim
W_A = nn.Parameter(torch.empty(input_dim, rank)) # LoRA权重A
W_B = nn.Parameter(torch.empty(rank, output_dim)) # LoRA权重B
# 初始化LoRA权重
nn.init.kaiming_uniform_(W_A, a=math.sqrt(5))
nn.init.zeros_(W_B)
def regular_forward_matmul(x, W):
h = x @ W
return h
def lora_forward_matmul(x, W, W_A, W_B):
h = x @ W # 常规矩阵乘法
h += x @ (W_A @ W_B) * alpha # 使用缩放的LoRA权重
return h
7. LangChain
a).RAG(信息检索增强)
8. 预训练微调RLHF:
https://zhuanlan.zhihu.com/p/657045745
9. 技术，运营，策略
https://mp.weixin.qq.com/s/nRNR8JpNHYjlWG2SIvZQQg
引用(Inference):
- MoEfication:Conditional Computation of Transformer Models for Efficient Inference
github: GitHub - S-LoRA/S-LoRA: S-LoRA: Serving Thousands of Concurrent LoRA Adapters
paper [2311.03285] S-LoRA: Serving Thousands of Concurrent LoRA Adapters (arxiv.org)
