FlashAttention – 原理解析
crabboss FlashAttention是一种利用软…
Read More大模型
OLMO预训练数据处理
大模型的预训练处理的基本处理方式： 1 …
Read Morescheduler学习率调度器
有的时候transformer或者tor…
Read MoreAutoConfig、PreTrainedModel、LlamaPreTrainedModel、LlamaModel和LlamaForCausalLM的使用
标题类的继承关系如下： PreTrain…
Read More如何从零训练一个多模态大模型
先占个坑，具体如何从零训练可见下方链接：…
Read MoreMiniCPM：揭示端侧大语言模型的无限潜力报告读后记录
MiniCPM一直都是开源领域的小钢炮，…
Read More