100亿项目能带动多少gdpgpt4：拥有100万亿参数GPT⑷将比GPT⑶大500倍：超大型的神经网络是实现AGI的最佳方式吗？ 速看

近期，互联网行业再次掀起了1股创新浪潮，让我们1起揭开这个新时代的面纱，看看互联网天下有哪些令人振奋的事情正在发生。

OpenAI 的诞生是为了应对实现通用人工智能 (AGI) 的挑战——1种能够做人类能做的任何事情的人工智能正如我们所知，这样的技术将改变天下如果使用得当，它可以使我们所有人受益，但也可能成为落入坏人之手的最具破坏性的武器。

为确保每小我都能平等受益：“我们的目标是以最有可能造福全人类的方式推进数字智能”，这就是 OpenAI 接手这个任务的原因然而，这个问题的复杂性使它可以说是人类已经投入的最大的科学事业尽管计算机科学和人工智能取得了所有进步，但没有人知道如何解决它或它何时会成为现实。

有些人认为深度学习没有足以实现 AGI伯克利的计算机科学教授、人工智能先驱Stuart Russell认为，“专注于原始计算能力完全没有抓住要点[……]我们还没有知道如何让机器拥有真正智能——即使它有宇宙的大小。

”相比之下，OpenAI 相信以大型数据集为基础并在大型计算机上训练的大型神经网络是实现 AGI 的最佳方式 OpenAI 的首席技术官 Greg Brockman 在接受《金融时报》采访时表示：“我们认为，谁拥有最大的计算机，谁就会获得最大的收益。

”他们也是这么做的，开始训练越来越大的模型，以唤醒深度学习中隐藏的力量朝这个方向迈出的第1个非微妙步骤是 GPT 和 GPT⑵ 的发布这些大型语言模型将为节目的明星：GPT⑶ 奠定基础1个拥有 1750 亿个参数比 GPT⑵ 大 100 倍的语言模型。

GPT⑶ 发布后是当时最大的神经网络，并且现在仍然是最大的神经网络它的语言特长和无数能力令大多数人感到惊讶尽管1些专家仍然持怀疑态度，但大型语言模型已经让人感到新奇对于 OpenAI 研究人员来说，这是1个巨大的飞跃并且可以强化他们的信念并让我们相信 AGI 是深度学习的1个问题。

3位1体——算法、数据和计算机OpenAI 相信扩展假设给定1个可扩展的算法，在这种情况下是transformers——GPT 系列背后的基本架构——它可能有1条通向AGI的直接路径，该路径可以基于该算法训练越来越大的模型。

但大型模型只是 AGI 难题的1部分训练它们需要大量的数据集和大量的计算能力当机器学习社区开始揭示无监督学习的潜力时，数据没有再是瓶颈这取生成语言模型和小样本任务迁移（few-shot task transfer）1起解决了 OpenAI 的“大数据集”问题。

他们只需要使用大量的计算资源来训练和部署他们的模型就可以了这就是他们在 2019 年取微软合作的原因作为可以在商业上使用 OpenAI 的1些模型的交换，OpenAI 换取了对微软云计算基础设施和他们所需的强大 GPU 的访问权。

但是 GPU 并没有是专门为训练神经网络而构建的游戏行业开发了这些用于图形处理的芯片，而人工智能行业只是利用了这些芯片对并行计算的适用性 OpenAI 想要最好的模型和最好的数据集，GPU 还没有够的，他们也想要拿到最好的计算机芯片。

许多公司也意识到了这1点，并开始构建内部公用芯片旨在训练神经网络，在节省成本的同事没有会降低效率然而，像OpenAI这样的纯公司很难将硬件设计和制造融为1体这就是为何他们采取了另1条路线：使用第3方 AI 公用芯片。

这时Cerebras Systems 出现了这家芯片公司已经在 2019 年制造了有史以来最大的用于训练大型神经网络的芯片现在他们和OpenAI 合作，又开始了新的研究WSE⑵芯片和GPT⑷模型两周前，《Wired》杂志发表了1篇文章里面包含了两条重要消息。

首先，Cerebras再次制造了市场上最大的芯片，Wafer Scale Engine Two (WSE⑵)它大约22厘米，有2.6万亿晶体管相比之下，特斯拉全新的训练芯片只有有1.25万亿晶体管Cerebras找到了1种有效压缩计算能力的方法，因此WSE⑵有85万个核心(计算单元)，而典型的gpu只有几百个。

他们还用1种新颖的冷却系统解决了散热问题，并创建了高效的IO流像WSE⑵这样的超级专业、超级昂贵、超级强大的芯片用途并没有多训练大型神经网络就是其中之1所以Cerebras和OpenAI进行了对话这是第二条新闻：Cerebras首席执行官Andrew Feldman对《Wired》杂志表示:“从取OpenAI的对话来看，GPT⑷将会有大约100万亿个参数。

(……)但是发布的话可能还需要几年的时间”从GPT⑶开始，人们就对OpenAI及其下1个版本充满了期待现在我们知道它会在几年内问世，而且会非常大它的尺寸将超过GPT⑶的500倍你没看错:500倍我们可以从 GPT⑷ 中期待什么？

100 万亿个参数很多。要了解这个数字有多大，让我们将它取我们的大脑进行比较。1般人类的大脑有大约 80⑴000 亿个神经元和大约 100 万亿个突触。

GPT⑷ 将拥有取大脑具有突触1样多的参数将人工神经网络取大脑进行比较是1件棘手的事情这种比较看似是公平的，但这只是因为我们假设人工神经元至少松散地基于生物神经元最近发表在 Neuron 上的1项研究表明情况并非如此。

他们发现至少需要1个 5 层神经网络才能够模拟单个生物神经元的行为也就是说需要大约1000 小我工神经元才能够模拟1个生物神经元这么看来GPT⑷还是没有达到我们大脑的水平，但是即使 GPT⑷ 没有我们的大脑那么强大，它也肯定会给我们带来惊喜。

取 GPT⑶ 没有同它可能没有仅仅是1个语言模型 OpenAI 的首席科学家 Ilya Sutskever 在 2020 年 12 月撰写有关多模态的文章时暗示了这1点：“到 2021 年，语言模型将开始了解视觉天下。

仅文字就可以表达关于天下的大量信息，但它是没有完整的因为我们也生活在视觉天下中”我们已经在 DALL·E 中看到了其中的1些，它是 GPT⑶ 的较小版本（120 亿个参数），专门针对文本-图像对进行训练。

OpenAI 当时表示，“通过语言描述视觉概念现在已经触手可及”OpenAI 1直在没有停地利用 GPT⑶ 的隐藏能力 DALL·E 仅仅是 GPT⑶ 的1个特例，很像 Codex但它们并没有是绝对的改进更像是特殊情况。

而GPT⑷ 能够提供更多的功能例如 DALL·E（文本图像）和 Codex（编码）等专业系统的深度取 GPT⑶（通用语言）等通用系统的宽度相结合那么其他类似人类的特征呢，比如推理或常识？在这方面，Sam Altman说他们也无法确定，但他仍然“乐观”。

目前看来，问题还是很多但答案却很少没有人知道 AGI 是否真的称为可能，也没有人知道如何建造它没有人知道更大的神经网络是否会越来越接近它但没有可否认的是虽然可能还要等几年，但GPT⑷ 将是值得关注的器材，让我们拭目以待。

作者：Alberto Romero

这是我对生活的1次思考，希望这篇文章能给你带来1丝启发和感悟。喜欢的小伙伴记得关注收藏点赞哦！"