对于如何输入长文本给大模型，论文 Retrieval Augmented Generation or Long-Context LLMs?[https://www.arxiv...
发简信
IP属地：北京
-
RAG or Long-Context LLM, 可能不是个问题 -
模型训练当中 checkpoint 作用是什么最近在微调大语言模型的过程中发现训练时会在模型生成的目录出现很多checkpoint开头的文件夹，这些文件夹下面基本都是一套完整可用的模型文件，还比较占用空间。这里详细总结一...
-
如何快速将celery集成到项目
因为项目需要，经常需要将 celery 引入工程，因为它不想其他包那样安装后就能使用，所以总结了以下步骤，方便快速接入。 以下基于 celery 4.4 和 django 4...
-
Sentry 完全离线部署Sentry 离线部署 此篇为 Sentry 完全离线部署的操作步骤，来源于自己在一个无网络的 linux 系统中实际操作的总结。主要是一些踩坑的记录和操作手法，留作日后参考...
-
记录一次 core dump 的分析过程背景 收到运维通知，负责的工程下面有很多core文件，是python进程崩溃后系统生成的。core 文件的生成原理这里不错介绍了，感兴趣的可以自己去了解一下。 分析 分析co...
-
seo - 关键词规划师
在 SEO 日常工作中，时常需要和 关键词 打交道，了解所选关键词的流量信息等。百度在营销工具中面向这样的需求提供了关键词规划师的工具，下面从技术角度来介绍这个工具。 文档地...
-
tensorflow 入门笔记简介 tensorflow 是谷歌于2015年11月开源的通用计算框架，由谷歌大脑团队基于谷歌内部第一代深度学习框架 DistBelief 改进而来。虽然 DistBelie...
-
TiDB 2.0 Ansible check model 问题
现象 部署TiDB之前，希望先通过添加--check参数来检查环境是否满足部署条件，比如在滚动升级TiDB之前，通过如下命令做部署前检查 但是当运行至NTP服务检查时，报错了...
-
celery中的时区陷阱
Django中使用celery执行异步任务非常方便，通过apply_async可以控制定时任务的执行时间。一般使用场景中，比较多的是任务在一定时间之后执行，这时只要指定cou...
-
TiDB数据迁移工具Syncer的使用在将数据迁移到 TiDB 过程中，通过使用 mydumper 和 loader 可以实现存量数据的整体迁移，之后的增量数据可以借助官方提供工具 syncer。其基本原理就是将...
-
RabbitMQ队列中大量unacked消息的问题定位
最近在使用RabbitMQ时发现总有一些消息队列中存在大量的处于unacked状态的消息，一般来说，如果队列中ready状态的消息数比较多，可以认为是消费者的处理能力不足，可...
-
Celery版本升级记录
Django项目中使用了旧版本的celery，希望升级到最新版，在此记录最近今天的工作。 版本变更 3.1.23 -> 4.2.1升级方案 参考官方文档 主要变化 Djang...
-
RabbitMQ联合队列的搭建和本地测试RabbitMQ Federation Federation (联合) 常常用于 RabbitMQ 集群升级时做集群间消息同步以及负载均衡等场景。本文记录了 Federati...
-
Rust Learning Note - Part 1
先从示例开始 编译方法 rustc main.rs ! 意味着调用的是宏而不是普通函数 Cargo 系统构建和包管理工具 新建项目 {cargo new hellocargo...
-
RabbitMQ高可用集群搭建的特殊之处
线上基础服务为了避免单点问题，一般在其搭建之时都会建立集群以避免机器宕机等极端情况发生时业务能不受影响。比如Redis 3.0之后集群的按照一致性哈希的方式将key-valu...
-
Hive映射HBase表的方法
HBase比较适合key-value形式的存储和查询，对于多条件查询的情况，查询效率基本依赖rowkey的设计。对于实时性要求不高的情况，可以通过Hive进行离线查询。这时需...
-
Python中__all__的使用
Python代码文件test.py如下 如果执行from test import *，有哪些函数能被导出呢？ 按照Python的规则，内部私有函数已_开头，因此将只有test...
