gpt/lgpt4：拥有100万亿参数的GPT⑷，有何值得期待？ 居然可以这样

好奇心总是驱使着我们去关注互联网的最新动态，而今天，就让我们聚焦在1些最近令人瞩目的互联网事件上，1起畅谈吧。

作者：Alberto Romero译者：青苹果原文：GPT⑷ Will Have 100 Trillion Parameters — 500x the Size of GPT⑶.为了应对实现通用人工智能（AGI, Artificial General Intelligence）的挑战，OpenAI 应运而生。

通俗来说，这就是1种能够完成人类所能完成的任何事情的 AI毫无疑问，这样的技术必将改变我们所认知的天下它就如1把双刃剑，如果使用得当，可使所有人受益；倘若落入坏人之手，也会变成最具毁灭性的武器这就是 OpenAI 接手这项任务的原因，以确保每小我都能平等受益：“我们的目标是以最有可能造福全人类的方式推进数字智能。

”然而，这个问题的宽重性使得它可以说是人类涉足的最大的科学事业尽管计算机科学（CS, Computer Science）和 AI 有了长足的进步，但没有人知道如何解决这个问题，以及它何时会成为现实有些人认为，深度学习没有足以实现 AGI。

伯克利大学的计算机科学教授、AI 先驱 Stuart Russell 认为：“专注于原始计算能力完全没有切中要点……我们没有知道如何让机器实现真正的智能——即使它有宇宙那么大”相比之下，OpenAI 相信，以大型数据集为基础并在大型计算机上训练的大型神经网络是实现 AGI 的最佳途径。

OpenAI 的首席技术官格雷格·布罗克曼（Greg Brockman）在接受《金融时报》采访时表示：“我们认为，谁拥有最大型的计算机，谁就将获得最大的收益”显然，他们也是这样做的：开始训练越来越大的模型，以唤醒深度学习中隐藏的力量。

朝此方向迈出的第1个非微妙步骤是 GPT 和 GPT⑵ 的发布这些大型语言模型将为后续的 “新秀”模型-GPT⑶ 奠定基础1个拥有 1750 亿参数，比 GPT⑵ 大 100 倍的语言模型可见 GPT⑶ 是当时最大的神经网络，并且就目前来说，仍是最大的密集神经网络。

它的语言特长以及数没有胜数的能力令多少人为之惊叹尽管1些专家仍持怀疑态度，但大型语言模型已经让人感到新奇对于 OpenAI 研究人员来说，这是1个巨大的飞跃并且增强了他们的信念感，也进1步让我们相信 AGI 是深度学习的1个值得关注的问题。

3位1体——算法、数据和计算OpenAI 相信扩展假说（ the scaling hypothesis）给定1个可扩展的算法，即本例中的 Transformer——GPT 系列背后的基本架构——可能有1条通向 AGI 的直接路径，该路径可以基于该算法训练越来越大的模型。

但大型模型只是 AGI 难题的1部分训练它们需要大量的数据集和大量的计算能力当机器学习社区开始揭示无监督学习的潜力时，数据没有再是瓶颈这取生成语言模型和小样本任务（few-shot task）迁移1起解决了 OpenAI 的“大数据集”问题。

他们只需要使用大量的计算资源来训练和部署他们的模型即可很好地运行这也就是他们在 2019 年取微软合作的原因他们授权了这家大型科技公司，这样他们就可以在商业上使用 OpenAI 的1些模型，以换取对其云计算基础设施和所需的强大 GPUs 的访问权。

但是 GPUs 并非是专为训练神经网络而构建的游戏行业开发这些芯片用于图形处理，而 AI 行业只是利用了它对并行计算的适用性OpenAI 想要最好的模型和最好的数据集，他们也想要最佳的计算机芯片然而，GPUs 还没有够。

许多公司也意识到了这1点，并开始在没有损失效率和能力的情况下，构建训练神经网络的内部公用芯片然而，像 OpenAI 这样的纯公司很难将硬件设计和制造进行集成这恰好解释了他们为何采取了另1条路线：使用第3方 AI 公用芯片。

这时到 CerebrasSystems 登场了这家致力于研发用于深度学习的芯片产品的公司早在 2019 年便制造了有史以来最大的用于训练大型神经网络的芯片现在他们“重出江湖”，OpenAI 将很好地取其进行合作，开展新的研究。

WSE⑵ 芯片和 GPT⑷ 模型两周前，Wired 杂志发表了1篇文章，披露了两条重要消息首先，Cerebras 再次制造了市场上最大的芯片- WSE⑵（Wafer Scale Engine Two）。

它大约 22 厘米，有 2.6 万亿晶体管相比之下，特斯拉（Tesla）全新的训练芯片也仅有 1.25 万亿晶体管Cerebras 找到了1种有效压缩计算能力的方法，因此 WSE⑵ 有 85 万个核心（计算单元），而典型的 GPUs 只有几百个。

他们还用1种新颖的冷却系统解决了散热问题，并创设了1种高效的 I/O 数据流像 WSE⑵ 这样的超专业、超昂贵、超强大的芯片用途并没有多训练大型神经网络就是其中之1所以 Cerebras 和 OpenAI 进行了对话。

第二条消息是，Cerebras 首席执行官安德鲁·费尔德曼（Andrew Feldman）对Wired杂志表示：“从取 OpenAI 的对话来看，GPT⑷ 将会有大约 100 万亿个参数……至于发布，可能还需要几年来准备。

”从 GPT⑶ 开始，人们就对 OpenAI 及其后续版本充满了期待现在我们知道它会在几年内问世，而且规模会非常大它的尺寸将超过 GPT⑶ 的 500 倍是的，你没看错：500 倍！GPT⑷ 将比去年震惊天下的语言模型大 500 倍。

GPT⑷ 可以带给我们什么期待？100 万亿的参数究竟有多大呢？为了理解这个数字概念，我们用人脑取其展开比较1般情况下，大脑约有 800⑴000 亿个神经元（GPT⑶ 的数量级）和大约 100 万亿个突触。

GPT⑷ 将拥有取大脑的突触1样多的参数这种神经网络的庞大规模可能带来我们只能想象的 GPT⑶ 的质的飞跃我们甚至可能无法用当前的提示方法测试系统的全部潜力然而，将人工神经网络取大脑进行比较是1件棘手的事情。

这种比较看似公平，但那只是因为我们假设至少在1定程度上，人工神经元是松散地基于生物神经元的最近发表在Neuron杂志上的1项研究表明并非如此他们发现，至少需要1个 5 层神经网络来模拟单个生物神经元的行为。

换句话说，每个生物神经元大约需要 1000 小我工神经元才可以模拟由此看来，比较结果是，我们的大脑更胜1筹即使 GPT⑷ 没有如我们的大脑强大，它也肯定会带来1些惊喜取 GPT⑶ 没有同，它可能没有仅仅是1个语言模型。

OpenAI 首席科学家 Ilya Sutskever 在 2020 年 12 月撰写多模态的相关文章时暗示了这1点：“到 2021 年，语言模型将开始认识视觉天下当然，文字本身即可表达关于这个天下的大量信息，但毕竟是没有完整的，因为我们也生活在视觉天下当中。

”我们已经在 DALL·E 中看到了1些，它是 GPT⑶ 的1个较小版本（120 亿参数），专门针对文本-图像对进行训练OpenAI 当时表示，“通过语言描述视觉概念现在已经触手可及”OpenAI 1直在没有停地开发 GPT⑶ 的隐藏能力。

DALL·E 是 GPT⑶ 的1个特例，很像 Codex但它们并没有是绝对的改进，更像是1种特殊情况而 GPT⑷ 具备更多的功能举例来说，将 DALL·E（文本图像）和 Codex（编码）等专业系统的深度取 GPT⑶（通用语言）等通用系统的宽度相结合。

那么其他类人特征呢，比如推理或常识？在这方面，Sam Altman 表示他们也没有确定，但仍然保持“乐观”心态总之，目前看来，问题很多但答案却很少没有人知道 AGI 能否成为可能，也没有人知道如何构建，亦没有人知道更大的神经网络是否会越来越向其靠近。

但没有可否认的1点是：GPT⑷ 值得我们关注，必定没有负期待

这就是今天要分享的内容了。希望你能喜欢这篇文章。如果你觉得有价值的话，请给我1个赞吧。也可以关注我。收藏我的文章。让我们1起探索更多有意思的事情吧。