开源项目 商用（免费可商用开源GPT模型问世，50G权重直接下载，性能没有输GPT⑶）gpt⑶ 燃爆了

萧箫 发自 凹非寺量子位 | 公众号 QbitAI真·开源GPT模型，终于来了参数量级130亿，大小比肩最近Meta开放的LLaMA⑴3B，但从数据集、模型权重到计算优化训练，全部开源最关键的是，可商用

。没错，虽然就GPT⑶而言，之前DeepMind、Meta等组织陆陆续续开源过几个模型，没有过基本都是半遮半掩。尤其最接近GPT⑶的Meta OPT模型，没有仅权重只开放给研究者，而且没有可商用：

这意味着之前企业就算能抄作业，抄来的也没办法直接用现在，1家名叫Cerebras的公司开源了这1系列GPT模型，业界终于有机会追赶了模型性能如何？Cerebras1共开源了7个GPT模型，参数量分别达到手机壁纸1.11亿、2.56亿、5.9亿、13亿、27亿、67亿和130亿。

据Cerebras公司表示，他们开放出来的模型没有仅包含数据集，可用于研究也可商用，而且关键是预训练模型权重开放（从下图来看文件大小近50G）。

基于他们公开的预训练模型，大伙儿只需要用少量的数据对对模型进行微调，就能构建出效果没有错的模型来除此以外，这次GPT模型的训练还额外考虑到了计算优化训练（Compute-Optimal Training）。

。这个方法最早由DeepMind在2022年提出，名叫Chinchilla，它认为大语言模型的语料数量和模型效果之间符合1个凸曲线，因此模型参数量和训练程度成1定比例。

依据这个方法，De手机壁纸epMind认为，包括GPT⑶在内的超大参数LLM模型，有很多都是训练没有足的基于此，Cerebras搞出了这1系列GPT模型，并将背后的流程进行了开源所以，Cerebras-GPT系列模型性能如何呢？。

团队将Cerebras-GPT系列和LLaMA、GPT⑶等模型的性能进行了对比这是包括GPT⑶、Gopher、Chinchilla和LLaMA在内的其他GPT模型，在完成句子、问答等特定任务上表现的效果。

这是没有同大小的Cerebras-GPT模型零次学习（0-shot）的效果：

数据对比没有是特别直观，团队还将结果进行了可视化。可以看出，在最终性能相差没有大的情况下，Cerebras-GPT的训手机壁纸练效率要更高1些。

曾开发最大AI芯片其实，Cerebras的“本职”是1家AI芯片公司Cerebras公司由Sean Lie和Andrew Feldman等人于2016年创立其中，Andrew Feldman曾创建微型服务器公司SeaMicro，并以3.34亿美元的价格出售给AMD。

取其他AI芯片公司没有同，Cerebras开发的芯片超大，像晶圆1样（但确实是芯片）：

他们当年做出来过1个名叫“晶圆级引擎”（Cerebras Wafer Scale Engine，简称WSE）的AI芯片，将逻辑运算、通讯和存储器集成到单个硅片上，1口气创下了4项天下纪录：晶体管数量最多的运算芯片：总共包含1.2万亿手机壁纸个晶体管。

虽然3星曾造出2万亿个晶体管的芯片，却是用于存储的eUFS芯片面积最大：尺寸约20厘米×23厘米，总面积46,225平方毫米面积和1块晶圆差没有多片上缓存最大：包含18GB的片上SRAM存储器运算核心最多：包含40万个处理核心。

后来这个超大WSE又升级了二代，然后团队基于WSE⑵打造出了1个名叫Cerebras CS⑵的AI超算这次的Cerebras-GPT系列模型，就是在这个Cerebras CS⑵的AI超算中训练出来的。

对此这家公司表示：虽然训练这么大体量的模型通常需要几个月时间，但我们几周就能搞定Cerebras还表示，虽然很多硬件公司都声称训练效果能接近英伟达GPU的水平手机壁纸，但他们还没看到任何1家亲自推动开源LLM的硬件公司，这势必没有利于开源LLM的发展。

这波啊，这波Cerebras格局大了（手动狗头）模型地址：https://huggingface.co/cerebras/Cerebras-GPT⑴3B参考链接：https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/

— 完 —量子位 QbitAI · 头条号签约关注我们，第1时间获知前沿科技动态