整了半天的latex表格，原来中间的间隔的竖直线修改下toprule,bottomrule,midrule，不要用hline就好了。
发简信
IP属地：北京
-
用python将excel的有效内容+格式存储成png图像
转载：https://www.cnblogs.com/cgmcoding/p/16517494.html[https://www.cnblogs.com/cgmcoding/...
-
不蠢不蠢~~有时候有些问题看似简单但是会给人意想不到的启发~加油朋友！
Alpaca-LoRA 的安装
尝到了gpt的甜头，觉得可以结合自己的任务训练下，因为用自己的服务器没有那么大的gpu，后来等到lora终于可以跑自己的数据了~不过安装过程中遇到了很多坑！！真的很多坑，安装...
-
不好意思最近忙都没有登陆看，很开心能解决你的问题，跑起来你可以看官网里，有详细的训练方式，我的是用这个命令跑的：python finetune.py \
--base_model 'decapoda-research/llama-7b-hf' \
--data_path 'yahma/alpaca-cleaned' \
--output_dir './lora-alpaca' \
--batch_size 32 \
--micro_batch_size 4 \
--num_epochs 3 \
--learning_rate 1e-4 \
--cutoff_len 512 \
--val_set_size 2000 \
--lora_r 8 \
--lora_alpha 16 \
--lora_dropout 0.05 \
--lora_target_modules '[q_proj,v_proj]' \
--train_on_inputs \
--group_by_length
因为我的GPU不够大，我调整了batchsize，并且调整了源代码里的部分，因为源代码是128反向传播一次，因此我设置了梯度累计，把我的32设置成4次误差累加后再反向传播，这样就和源码一致。
如果你的空间都合适的话，用这个代码也行，python finetune.py \
--base_model 'decapoda-research/llama-7b-hf' \
--data_path 'yahma/alpaca-cleaned' \
--output_dir './lora-alpaca'
这个是可以直接跑的。欢迎随时交流哈~Alpaca-LoRA 的安装
尝到了gpt的甜头，觉得可以结合自己的任务训练下，因为用自己的服务器没有那么大的gpu，后来等到lora终于可以跑自己的数据了~不过安装过程中遇到了很多坑！！真的很多坑，安装...
-
CUDA out of memory
显存不足的情况下，总结了以下几种方法，任何情况都能用其中一个解决。 一、降低batch_size ，训练时间就会长点，一般这个都能解决；二、在测试和验证代码中加入以下代码： ...
-
给gpt喂自己的数据！
上一篇文章说完了安装，这下我要喂自己的数据了。 1. 准备数据 首先要按照给的格式创建自己的json数据，这个比较好创建，之前没用过json搜一下就行了。原文的格式如下： 这...
-
Alpaca-LoRA 的安装
尝到了gpt的甜头，觉得可以结合自己的任务训练下，因为用自己的服务器没有那么大的gpu，后来等到lora终于可以跑自己的数据了~不过安装过程中遇到了很多坑！！真的很多坑，安装...
-
-
Dijkstra最短路径
回顾下最短路径算法，感觉找了一堆没有写的特别简单明了的，还是辗转看了好几个人的才找到一个写的很清楚的，这里再总结一下方便以后自己回顾。 以上面的图为例，找0到其他1-6个点的...
-
数组合并中符号的区别
记录一波在使用python数组时候的一些特别之处，符号不同效果不同。目的是将两个数据合成一个。1、[ ]的效果 可见用[dataset1,dataset2]合并的方法只是单纯...
-
数学知识在实际中的意义在实验中通常会自己设计损失函数、优化函数等，通常会用到对数、分数、梯度等，不明白函数的实际意义在设计的时候就一脸懵，因此本文就几种常见的函数进行实际意义的解释，方便后期自身学...
-
2022-02-18
今天解决一个蓝牙的问题搞了一下午，还以为是驱动各种问题，结果。。。解决方法令人震惊！问题：1、蓝牙用着用着就消失了，无法使用；2、设备管理器里找不到蓝牙；3、设置里找不到蓝牙...
-
对抗网络GANs介绍
原文出自：https://www.tmtpost.com/2609145.html，这里做个基本了解。 生成对抗网络（Generative Adversarial Netwo...
-
pytorch中ipdb的调试功能
在pytorch中使用ipdb可以对程序实现单步调试等，使用命令pip install ipdb安装即可。在需要调试的代码前面加上ipdb.set_trace()即可，当程序...
-
pytorch中多GPU并行设置
当使用GPU时，程序默认从device[0]开始运行，但是如果遇到第一块就被占满的情况，那么程序直接报错GPU溢出，但其实第二块第三块空闲，因此可以通过设置GPU的Index...
-
pytorch中的自定义数据处理
pytorch在数据中采用Dataset的数据保存方式，需要继承data.Dataset类，如果需要自己处理数据的话，需要实现两个基本方法。：.getitem:返回一条数据或...
