AI文摘

blog-thum
大Batch训练大语言模型的探索与实践

©作者 牛信尧研究方向 大语言模型写在前面最近在训练languagemodel的时候发现了一个问题,在有很多卡的情况下,最有效提高训练效率的办法就是提高数据并行不论是提高batchs

read more
blog-thum
大模型badcase修复方案思考

【点击】加入大模型技术交流群随着现在算法的版本更新,进入了大模型时代,当然也要面临类似的问题,即我们是需要解决badcase的,这次给大家介绍一下大模型在这块的修复方案策略。懒人目录:微调和结构升级

read more
blog-thum
一篇关于多模态大模型研究综述

“挺长的综述https:arxivorgpdf240113601pdf文章主要介绍了多模态大型语言模型(MM-LLMs)的最新进展,这些模型通过成本效益的训练策略,增强了现成的大型语言模

read more