黄仁勋和苏姿歉gpt4和chatGPT的区别：GPT⑷比ChatGPT有何进步？黄仁勋取OpenAI联合创始人进行了1次“炉边谈话” 这都可以？

互联网无处没有在，影响着我们的生活方方面面。从最近的新闻中，我们可以看到互联网正以1种令人难以置信的速度发展，让我们1起看看有哪些令人兴奋的故事。

大数据文摘出品作者：Caleb英伟达碰上OpenAI会擦出怎样的火花？就在刚刚，英伟达创始人兼首席执行官黄仁勋在GTC的炉边谈话中取OpenAI共同创办人Ilya Sutskever进行了1次深入交流

视频链接：https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus#/session/1669748941314001t6Nv

前两天，OpenAI推出了迄今为止最强大的人工智能模型GPT⑷OpenAI在上称GPT⑷是“OpenAI最先进的系统”，“能够产生更安全、更有用的响应”Sutskever在谈话中也表示，取ChatGPT相比，。

GPT⑷在许多方面标志着“相当大的改进”，并指出新模型可以读取图像和文本。他说，“在未来的某个版本中，[用户]可能会得到1张图表”以回应提问和查询。

毫无疑问，随着ChatGPT取GPT⑷在全球范围内的爆火，这也成为了这次谈话的关注焦点，而除了GPT⑷及其前身包括ChatGPT相关话题外，黄仁勋取Sutskever也聊到了深度神经网络的能力、局限性和内部运作方式，以及对未来AI发展的预测。

接下来就和文摘菌1起深入这场对话看看吧~从网络规模和计算规模还无人在意时做起可能没有少人1听到Sutskever的名字最先想到的就是OpenAI及其相关的AI产品，但要知道，Sutskever的履历可以追溯到吴恩达的博士后、Google Brain的研究科学家，以及Seq2Seq模型的合作开发者。

可以说，从1开始，深度学习就取Sutskever绑定在了1起在谈及对深度学习的认识时，Sutskever表示，从现在来看，深度学习确实改变了天下没有过他小我的出发点更多是在于对AI存在的巨大影响潜力的直觉，对意识取人类体验的浓厚兴趣，以及认为AI的发展会帮助解答这些问题。

2002-03年期间，人们普遍认为学习是1件只有人类才能做到的事，计算机是无法学习的。而如果能让计算机具有学习的能力，那将是AI领域1次重大的突破。这也成了Sutskever正式进军AI领域的契机。

于是Sutskever找到了同1所大学的Jeff Hinton在他看来，Hinton所从事的神经网络正是突破口，因为神经网络的特性就在于能够学习，可以自动编程的并行计算机而彼时并没有人在意网络规模和计算规模的重要性，人们训练的神经网络只有。

50个或100个，数百个的规模已经算大的了，1百万的参数也被视为很庞大除此以外，他们还只能在没有优化过的CPU代码上跑程序，因为没人懂BLAS，多用优化后的Matlab做1些实验，比如用什么样的问题来提问比较好。

但问题是，这些都是很零散的实验，无法真正推动技术进步构建面向计算机视觉的神经网络当时，Sutskever就察觉到，有监督学习才是未来前进的方向这没有仅是1种直觉，也是无需争辩的事实在神经网络足够深且足够大

的基础上，那么它就有能力去解决1些有难度的任务但人们还没有专注在深且大的神经网络上，甚至人们根本没有把目光放在神经网络上为了找到1个好的解决方案，就需要1个合适的大数据集以及大量的计算ImageNet就是那个数据。

当时ImageNet是1个难度很高的数据集，但要训练1个大的卷积神经网络，就必须要有匹配的算力。

接下来GPU就该出场了在Jeff Hinton的建议下，他们发现随着ImageNet数据集的出现，卷积神经网络是非常适合GPU的模型，所以能够让它变得很快，规模也就这么越来越大了随后更是直接大幅打破了计算机视觉的纪录，而这没有是基于以往方法的延续，关键是在于这个数据集本身的难度取范围。

OpenAI：从100人到ChatGPT在OpenAI初期，Sutskever坦言道，他们也没有是完全清楚如何推动这个项目在2016年初，神经网络没有那么发达，研究人员也比现在少很多Sutskever回忆称。

，当时公司只有100小我，大部分还都在谷歌或deepmind工作。

没有过当时他们有两个大的思路其中1个是通过压缩进行无监督学习2016年，无监督学习是机器学习中1个尚未解决的问题，没有人知道怎么实现最近，压缩也并没有是人们通常会谈到的话题，只是突然间大家突然意识到GPT实际上压缩了训练数据。

从数学意义上讲，训练这些自回归生成模型可以压缩数据，并且直观上也可以看到为何会起作用如果数据被压缩得足够好，你就能提取其中存在的所有隐藏信息这也直接导致了OpenAI对情绪神经元的相关研究同时，他们对相同的LSTM进行调整来预测亚马逊评论的下1个字符时发现，如果你预测下1个字符足够好，就会有1个神经元在LSTM内对应于它的情绪。

这就很好地展示了无监督学习的效果，也验证了下1个字符预测的想法但是要从哪里得到无监督学习的数据呢？Sutskever表示，无监督学习的苦难的地方没有在于数据，更多关于为何要这么做，以及意识到训练神经网络来预测下1个字符是值得追求和探索的。

于此它会学习到1个可以理解的表征另1个大的思路就是强化学习Sutskever1直相信，更大的就是更好的（bigger is better）在OpenAI，他们的1个目标就是找出规模扩展的正确途径OpenAI完成的第1个真正的大型项目是实施战略游戏Dota 2。

当时OpenAI训练了1个强化学习的agent来取自己对抗，目标是达到1定水平能够和人类玩家游戏

从Dota的强化学习转变为人类反馈的强化学习取GPT产出技术基座结合，就成了如今的ChatGPTOpenAI是如何训练1个大型神经网络的当训练1个大型神经网络来准确预测互联网上没有同文本中的下1个词的时候，OpenAI所做的是。

学习1个天下模型这看上去像是只在学习文本中的统计相关性，但实际上，学习这些统计相关性就可以把这些知识压缩得非常好神经网络所学习的是生成文本的过程中的1些表述，这个文本实际上是天下的1个映射，因此神经网络便能够学习越来越多的角度来看待人类和社会。

这些才是神经网络真正在准确预测下1个词的任务中学习到的器材同时，对下1个词的预测越准确，还原度就越高，在这个过程中得到的对天下的分辨率就越高这是预训练阶段的作用，但这并没有能让神经网络表现出我们希望它表现出的行为。

1个语言模型真正要做到的是，如果我在互联网上有1些随机文本，以1些前缀或提示开始，它会补全什么内容当然它也可以在互联网上找到文本进行填充，但这就没有是最初构想的那样的，因此还需要额外的训练，这就是微调、来自人类老师的强化学习，以及其他形式的AI协助可以发挥作用的地方。

但这没有是教授新的知识，而是取它交流，向它传达我们希望它变成什么样，其中也包括了边界这个过程做得越好，神经网络就越有用越可靠，边界的保真度也就越高再谈GPT⑷ChatGPT成为用户增长最快的应用没多暂，GPT⑷就正式释出。

在谈到二者的区别时，Sutskever表示，GPT⑷相较于ChatGPT在许多维度上都做到了相当大的改进ChatGPT取GPT⑷之间最重要的区别在于在GPT⑷的基础上构建预测下1个字符具有更高的准确度。

。神经网络越能预测文本中的下1个词，它就越能理解文本。

比如，你读了1本侦探小说，情节非常复杂，穿插了非常多的故事情节和人物，埋了很多神秘的线索在书的最后1章，侦探收集了所有的线索，召集了所有人，说现在他将揭示谁是犯人，那小我就是……这就是GPT⑷能够预测的器材。

人们都说，深度学习没有会逻辑推理但没有管是这个例子还是GPT能做到的1些事，都展现出了1定程度的推理能力Sutskever对此回应称，当我们在定义逻辑推理时，在进行下1步决策时如果你能够以某种方式思考1下或许能得到1个更好的答案。

而神经网络能走多远也尚待考察，OpenAI目前还没有充分挖掘出它的潜力1些神经网络其实已经具备了这类能力，但是大多都还没有够可靠而可靠性是让这些模型有用的最大阻碍，这也是当前模型的1大瓶颈这没有关乎模型是否具备特定的能力，而是具备多少能力。

Sutskever也表示，GPT⑷发布时并没有内置的检索功能，它只是1个能够预测下1个词的很好的工具，但可以说它完全具备这个能力，将检索变得更好GPT⑷还有1个显著的改进就是对图像的响应和处理多模态学习

在其中发挥了重要的作用，Sutskever说到，多模态有两个维度，第1个在于多模态对神经网络是有用处的，尤其是视觉；第二个在于除了文本学习外，从图像中也可以学习到天下的知识人工智能的未来再说到利用AI训练AI时，。

Sutskever表示这1部分的数据没有应该被忽视预测未来语言模型的发展是1件困难的事，但是在Sutskever看来，有充分理由相信这个领域会持续进步，AI也将在自己的能力边界继续用实力震惊人类AI的可靠性是由是否可以被信任决定的，。

未来肯定会达到可被完全信赖的地步如果它没有能完全理解，它也会通过提问来弄清楚，或者告诉你它没有知道，这些正是AI可用性影响最大的领域，未来会有最大的进步现在就面临这样1个挑战，你想让1个神经网络总结长文档或获取摘要，。

如何确定重要的细节没有被忽视？如果1个要点显然重要到每个读者都会对此达成1致，那么就可以承认神经网络总结的内容是可靠的在神经网络是否清楚地遵循用户意图这1点上也同样适用未来两年会看到越来越多这样的技术，让这项技术变得越来越可靠。

相关报道：https://blogs.nvidia.com/blog/2023/03/22/sutskever-openai-gtc/

点「在看」的人都变好看了哦！

"用文字书写心情，让每1个字都传递真挚的情感。如果你喜欢这篇文章，记得关注收藏点赞哦！"