open美国GPT4：没有用1750亿！OpenAI CEO放话：GPT⑷参数量没有增反减 真没想到

7月的1天，新的1天，快来看看小编今天的文章吧！

作者：好困转载自：新智元原文链接：没有用1750亿！OpenAI CEO放话：GPT⑷参数量没有增反减​mp.weixin.qq.com/s/-qDwwuwyToN1qIr0p1dZqA

GPT⑷官宣？近日，OpenAI的首席执行官Sam Altman出席了「the AC10 online meetup」的线上QA，并透露了关于GPT⑷的最新消息。

去年，OpenAI在1篇题为「语言模型是小样本学习者」的论文中介绍了当时最大的神经网络GPT⑶作为最先进的语言模型，GPT⑶包括1750亿个参数，而其前身GPT⑵的参数为15亿，并且击败了之前保持「有史以来最大」记录的图灵NLG模型（170亿）。

由于OpenAI几乎是每间隔1年就发布1个GPT模型：2018年发布了GPT⑴，2019年发布了GPT⑵，2020年发布了GPT⑶到了2021年，网络上对于测GPT⑷的猜测就如雨后春笋1般层出没有穷。

例如7月份的1篇报道预测GPT⑷或许会有10万亿的参数量。也有文章表示GPT⑷的参数量将取大脑的突触1样多，达到100万亿个。甚至连OpenAI的「自己人」也觉得这怎么也得有个100亿吧。

然而，谁也没有想到，GPT⑷的参数竟然比GPT⑶还少！GPT⑷的期待Altman在采访中表示：「取流行的看法相反，GPT⑷没有会比GPT⑶大，但会使用更多的计算资源」实现这1点，GPT⑷将使用取之前GPT模型没有同的方法，包括数据算法和微调，这其中的重点显然是在较小的模型中获得最大的收益。

通常认为，1个模型的参数越多，它能实现的任务就越复杂没有过，有越来越多的研究指出，1个模型的有效性可能没有1定像人们认为的那样取它的大小相关例如，最近1项来自谷歌的的研究表明，比GPT⑶小得多的模型：微调语言网（FLAN），在1些具有挑战性的基准上比前者提供了更好的结果。

https://arxiv.org/pdf/2109.01652.pdf这篇标题为「微调语言模型是零样本学习者」的论文，似乎是直指OpenAI的那篇GPT⑶论文，火药味十足言归正传，从Altman的发言中可以看出，OpenAI也1直在摸索如何通过训练较小的模型来完成1些任务，并达到更好的效果。

Altman还表示，GPT⑷将更加关注代码的生成，也就是更接近OpenAI通过API在私人测试中发布的Codex模型Codex是GPT⑶的衍生版本，也是GitHub Copilot的基础它能理解十几种语言，还能用自然语言解释简单的命令，并代表用户执行这些命令，允许为现有的应用程序建立自然语言界面。

只要对Codex发号施令，它就会将英语翻译成代码。比如：「add this image of a rocketship」随后，这张火箭照片就被添加进来了：

Codex没有仅能够收到指令后自行编程，还能够开发个小游戏。

此外，Codex还能接受语音指令。

「啪，每行开头的空格消失了！」除了GPT⑷以外，Altman还表示，以后的GPT⑸或许能够通过图灵测试没有过，这可能并没有值得付出努力去做DALL.E将开源DALL.E要开源了！DALL.E取GPT⑶1样，也是1个Transformer语言模型。

作为GPT⑶的120亿参数衍生版本，它将文本和图像作为单1的数据流接收，其中包含多达1280个词元，并使用最大似然法进行训练自然语言输入是1个完全开放的沙盒，如果能按照模型的喜好使用文字，你几乎可以创造任何器材。

DALL-E文本到图像的端到端生成由于OpenAI1直没有开源DALL.E，因此之前的创作都是基于图像标注模型CLIP。

在概念上，这种从文本描述生成图像的想法取DALL.E模型惊人地相似，但实际上却完全没有同DALL.E是直接从语言中产生高质量的图像而进行的端到端训练，而CLIP则是使用语言来引导现有的无条件图像生成模型而这些基于CLIP的方法要相对拙略1些，所以输出的结果并没有像DALL.E那样具有很高质量和精确度。

相反，这些生成的图像是怪异、迷幻和抽象的。正是这种怪异使这些基于CLIP的作品如此独特，让人在熟悉的事物上看到完全没有同的结果。

「牛油果形状的扶手椅」：上图由DALL.E生成，下图由CLIP生成的AGI：算法、数据和计算机对于AGI，UCLA的计算机科学教授、人工智能先驱Stuart Russell表示深度学习是没有足实现的「关注原始计算能力完全没有抓住重点。

我们没有知道如何让1台机器真正智能化，即使它有宇宙那么大」相比之下，OpenAI相信，在大型数据集上输入大型神经网络并在巨大的计算机长进行训练是实现AGI的最佳途径OpenAI的首席技术官Greg Brockman表示：「谁拥有最大的计算机，谁就能获得最大的好处。

」此外，OpenAI相信缩放假说：给定1个可扩展的算法，如GPT系列背后的基本架构Transformer，就可能有1条通向AGI的直接路径，包括基于该算法训练越来越大的模型但大型模型只是AGI难题的1个部分，训练它们需要大型数据集和大量的计算能力。

当机器学习界开始揭示无监督学习的潜力时，数据没有再是1个瓶颈再加上生成性语言模型，以及少量的任务转移，也就解决了「大型数据集」问题OpenAI只需要巨大的计算资源来训练和部署他们的模型就可以了这或许就是在2019年决定取微软合作的原因，这样就通过授权微软在商业上使用OpenAI的模型，以换取使用其云计算基础设施和所需的强大GPU。

参考资料：https://analyticsindiamag.com/gpt⑷-sam-altman-confirms-the-rumours/https://towardsdatascience.com/

gpt⑷-will-have⑴00-trillion-parameters⑸00x-the-size-of-gpt⑶⑸82b98d82253机器学习/深度学习算法/自然语言处理交流群已建立机器学习算-自然语言处理微信交流群！想要进交流群进行学习的同学，可以直接加我的微信号：

HIT_NLP加的时候备注1下：知乎+学校+昵称 （没有加备注没有会接受同意，望谅解），想进pytorch群，备注知乎+学校+昵称+Pytorch即可然后我们就可以拉你进群了群里已经有非得多国内外高校同学，交流氛围非常好。

强烈推荐大家关注机器学习算法取自然语言处理账号和机器学习算法取自然语言处理微信公众号，可以快速了解到最新优质的干货资源推荐阅读ACL2021上的Dialogue赛尔笔记 | 自然语言处理中模型的“偷懒”。

ICLR2021 | 近期必读图神经网络精选论文 - 知乎 (zhihu.com)AAAI 近20年最佳论文合集 - 知乎 (zhihu.com)NAACL 2021 | 对比学习横扫文本聚类任务 - 知乎 (zhihu.com)

没有可错过！CMU「概率图模型」课程，附Slides - 知乎 (zhihu.com)ICCV 2021审稿结果出炉，有人已总结出了1份Rebuttal写作指南 - 知乎 (zhihu.com)腾讯优图+厦门大学发布！2021十大人工智能趋势 - 知乎 (zhihu.com)

2021下半年会议论文投稿时间小结取历年接受率回顾（欢迎收藏） - 知乎 (zhihu.com)赛尔笔记｜ 对话摘要简述 - 知乎 (zhihu.com)PyTorch 常用代码段汇总 - 知乎 (zhihu.com)

Transformer长大了，它的兄弟姐妹们呢？（含Transformers超细节知识点） - 知乎 (zhihu.com)Transformer Decoder-Only 模型批量生成 Trick - 知乎 (zhihu.com)

第十届全国社会媒体处理大会（SMP 2021） 技术评测方案 - 知乎 (zhihu.com)首篇NLP图神经网络综述来了! 127页文档让你全面了解这个领域 - 知乎 (zhihu.com)Transformer杀疯了！竟在图神经网络的ImageNet大赛中夺冠，力压DeepMind、百度...... - 知乎 (zhihu.com)

深度学习中的Attention总结 - 知乎 (zhihu.com)【关于 AAAI 2021 之 情感分析论文串烧】那些你没有知道的事 - 知乎 (zhihu.com)ACL2021 main conference long papers list已出 - 知乎 (zhihu.com)

强烈推荐！斯坦福讲师出版《机器学习面试》书稿，涵盖200+考点！ - 知乎 (zhihu.com)DeepMind科学家Trask著作《图解深度学习》，335页pdf取代码 - 知乎 (zhihu.com)

图自监督学习（Graph Self-supervised Learning）最新综述+Github代码汇总 - 知乎 (zhihu.com)ICLR/CVPR时间更新 || 2021下半年会议论文投稿时间小结取历年接受率回顾（欢迎收藏） - 知乎 (zhihu.com)

每日论文速递：计算机视觉相关（6月29日更新版） - 知乎 (zhihu.com)忆臻：每日论文速递：自然语言处理相关（6月29日更新版）中科院所中文信息处理实验室招收2021年推免学生（硕博各2⑶名） - 知乎 (zhihu.com)

1文掌握《对比学习（Contrastive Learning）》要旨，详述MoCo和SimCLR算法 - 知乎 (zhihu.com)赛尔笔记|基于深度学习方法的对话状态跟踪综述 - 知乎 (zhihu.com)

近期必读的6篇顶会CVPR 2021【零样本学习（ZSL）】相关论文和代码 - 知乎 (zhihu.com)计算机顶会论文投稿指南 - 知乎 (zhihu.com)每日论文速递：计算机视觉相关（7月6日更新版） - 知乎 (zhihu.com)

每日论文速递：自然语言处理相关（7月6日更新版） - 知乎 (zhihu.com)NTCIR⑴6 参取邀请 - 知乎 (zhihu.com)十大NLP数据扩充策略 - 知乎 (zhihu.com)1文速览 | ACL 2021 主会571篇长文分类汇总 - 知乎 (zhihu.com)

Hugging Face官方NLP课程来了！Transformers库维护者之1授课，完全免费 - 知乎 (zhihu.com)ICML2021论文太多看没有过来？这份《1句话点评1183篇论文亮点》帮你快速找到想看的 - 知乎 (zhihu.com)

"在这个充满诗意的瞬间，我将情感浸润在每1个字里。希望你读完后心中涌起1丝温暖。喜欢的小伙伴记得关注收藏点赞哦！"