AI文摘

blog-thum
LLM百倍推理加速之量化篇

【点击】加入大模型技术交流群原文:https:zhuanlanzhihucomp680341931本文主要基于当前主流GPU硬件、量化算法最新论文,参考量化开源项目,探讨一下量化推理加速的

read more
blog-thum
增量预训练baichuan-13b-chat遇到的那些坑

前言资源单机两4090,如图在这里插入图片描述单卡24G,baichuan-13b-chat单卡推理需要至少26G,因此仅用一张卡,我们是无法加载百川13B的模型,所以,无论是推理还是训练,我们都必须

read more
blog-thum
大模型的模型融合方法

今天来讲一下大模型中的模型融合,并给出大模型融合的有效方法的原理和实现。模型融合大家以前用的很多,特别是在判别模型里,属于永远都能稳定提升的那一类方法。但是生成语言模型,因为解码的过程存在,并不像判别

read more