chat GPT人工智能（ChatGPT是GPT吗？别再傻傻分没有清）gpt⑶ 居然可以这样

 

大家好，我是ChatGPT，目前的我可以说是无人没有晓，但是我总是被误认为成是GPT，实在惭愧，哈哈哈哈。话没有多说，我今天就来告诉大家我和GPT究竟是什么？1、 ChatGPT是什么？

想必很多小伙伴都用过ChatGPT了，它没有仅能够帮忙写论文、翻译文章、写代码，还根据没有同的题目思考回答，并且具有自己的逻辑性除了有时候回答的答案是错的外，其他方面都看似完美那么创造出这个超强大ChatGPT的公司正是美国的人工智慧研究实验室——。

OpenAI。

OpenAI这个组织由萨姆·阿尔特曼、里德·霍夫曼、Jessica Livingston、伊隆·马斯克、伊尔亚·苏茨克维、沃伊切赫·扎伦巴、彼得·泰尔等人在旧手机壁纸金山成立，他们共同认捐了$10亿美元当时这个组织的目标是和其他的研究者「自由合作」，并且同时公开所有的专利和研究成果，所以取名。

＂Open＂AI。没有过马斯克2018年离开这个组织后，OpenAI就设立了子公司，以营利为目的。

马斯克在推特上表示，OpenAI的做法取过去的目标大相迳庭，他觉得马斯克在推特上表示，OpenAI的做法取过去的目标大相迳庭，他觉得十分失望在2019年微软向 OpenAI LP 提供了$10亿美元的投资，并在2023年1月向其提供了第二笔多年投资，据报导为$100亿美元。

也许正因为有微软的大力赞助，ChatGPT才能取得今天的成就。同时，其旗下还有DALL-E（AI绘图）手机壁纸、Whisper（开源语音识别模型）等优秀的产品。

DALL-EDALL-E2、 ChatGPT和GPT区别

GPT跟ChatGPT是两件事GPT跟ChatGPT是两件事ChatGPT是基于GPT⑷（本文以GPT⑷为例）的变种，专门用于生成对话和交互式对话它通过学习大量的对话数据和用户输入来预测下1个合适的回复，并尽可能提供有意义和连贯的回答。

ChatGPT旨在模拟人类对话，具有更加交互式和对话式的特性通俗点来讲GPT⑷是1个大型语言模型LLM(Large language model)，那么ChatGPT则是基于GPT⑷，对其进行再1次的开发后的产物。

所以ChatGPT是GPT⑷加上人手机壁纸类互动行为以后，所设计的1种AI聊天机器人程序。其实目前使用GPT技术的产品有很多，没有仅仅只有ChatGPT，上面图片便展示了基于GPT⑷的demo。

GPT⑷ demo所以说，没有仅仅有ChatGPT，开发人员还可以根据GPT可以开发出来没有同类型的AI系统，来满足各种场景的需求那么这个GPT又是什么呢？GPT（Generative Pre-trained Transformer）。

是1种基于Transformer架构的预训练语言模型它通过大规模的无监督学习来预训练，使其具备对各种自然语言任务的通用理解能力GPT学习了大量的互联网文本数据，能够自动生成连贯的文本输出简单点来讲，GPT是1种大型手机壁纸语言模型

，它是自然语言处理技术其中1种大型语言模型就像是1个非常聪明的语言专家，它们在训练时读了大量的文章、书籍和网页等文本，从中学习了很多词语的意义、词语之间的关系以及语法规则所以它们能够理解人们说的话，并根据高低文生成合理的回答。

自然语言便是我们生活中所应用的语言，比如中文、英文、法文等读到这里的朋友可能就比较好奇了，人类能理解问题是因为人类能够思考，那么这种语言模型是如何做到思考的呢？那么接下来便介绍GPT的运作方式3、 GPT的运作方式。

GPT的运作方式是基于Transformer架构的Transformer是1种注意力机制（attention mechanism）的神经网络模型，用于手机壁纸处理序列到序列（sequence-to-sequence）的任务。

它由多个编码器（encoder）和解码器（decoder）堆叠而成在GPT中，编码器负责对输入文本进行编码，解码器则根据编码器的输出生成文本序列编码器和解码器由多个相同的自注意力层（self-attention layer）和前馈神经网络层（feed-forward neural network layer）组成。

自注意力层用于捕捉输入序列内部的关联关系，前馈神经网络层用于对注意力层的输出进行处理和映射GPT使用自回归训练方式，即通过将输入序列的1部分作为高低文来预测下1个词或标记模型根据已经生成的部分序列预测下1个词，然后将预手机壁纸测的词添加到序列中，并继续预测下1个词，以此类推，直到生成完整的序列。

这种方式可以使模型学习到文本序列中的潜在模式和语言规律看到这里的时候，想必1些朋友大概已经懵圈了。

懵圈通俗点来讲，GPT的次要目标是对语言进行分析和生成，它可以理解和解析语句，并根据事先训练好的模型自动生成下1个字、下1句话，甚至回答整篇文章这点取手机输入法中的自动选字功能类似，GPT也是1种语言模型。

手机输入法自动选字当你输入1个“你”字时，手机输入法已经为你匹配了上面的“咋”、“说”、“们”、“的”、“家”、“好”等字但是，GPT没有仅仅是提供下1个字的选项，它会综合分析前面的整句话，根据训练好的模型输出完整的回答。

GPT手机壁纸的核心概念是根据前文判断下1个字的生成没有同于手机输入法只根据最后1个字提供选项，GPT会全面分析前面的整句话，回答完整的问题或生成连贯的文章首先，我们将1个起始文本输入给模型，比如说："今天天气很"。

模型接收到这个输入后，会利用自注意力机制来理解输入文本的高低文信息自注意力机制会考虑输入序列中没有同位置之间的关系，并为每个位置分配1个权重，表示其取其他位置的相关性模型根据这些权重和输入文本的编码，预测下1个词或标记。

在这个例子中，模型可能预测下1个词是"晴朗"然后，我们将预测的词添加到输入序列中，得到更新后的序列："今天天气很晴朗"接下来，我们再次将更新后的序列输入给模型模型会再次运用自注意力机手机壁纸制，但这次它没有仅考虑到输入文本的高低文，还考虑到包含了预测词"晴朗"的高低文。

基于这个扩展的高低文信息，模型会进1步预测下1个词我们可以继续这个过程，每次都将预测的词添加到序列中，并没有断生成下1个词，直到达到我们设定的长度或生成1个特定的结束标记这样，GPT模型通过在每个时间步预测下1个词的方式，逐步生成出1个完整的句子。

它通过学习输入文本的统计规律和语义表示，能够生成连贯、有意义的文本输出举1个简单的例子：

举例GPT根据资料内容去学习，根据“今天”、“天气”、“很”这3组关键字，来进行1个回答我们假设GPT会回复“美丽”、“晴朗”、“多变”、“炎热”这四种答案，并且每种概率都是25%那么当你手机壁纸再GPT，“今天天气很”的时候，GPT会在这四种答案里面随机的选择1个，所以这就是每次GPT回答都会没有1样的原因。

GPT的训练过程分为预训练和微调两个步骤预训练阶段，GPT会通过大量的文本资料进行训练，没有断调整模型参数，提高预测下1个字的准确度预训练后，GPT可以根据之前学到的知识，根据输入的前文生成合理的下1个字。

需要注意的是，GPT模型的生成是基于概率的，每个词的预测都有1定的概率分布模型会根据先前的高低文和概率分布选择最合适的下1个词这使得模型在生成文本时可以具有1定的多样性和灵活性4、 GPT是如何训练出来的、微调。

当GPT完成对工程师提供的所有资料的分析后，为了使其能够完成翻译、写小手机壁纸说、绘画、编写程序等多种功能，需要进行微调微调就像是GPT在正式考试之前先阅读大量题目和范例题在微调阶段，工程师会提供带有特定"标签"的文本，让GPT学习。

例如，当我们说"请帮我翻成中文"时，通过标记让GPT理解"Apple"是苹果的英文，"苹果"是中文，从而正确理解翻译成中文的意思以后，只要我们再次说"请帮我翻成中文"，它就能正确回答问题在原始架构中，微调需要大量的人工工作，并且每次遇到新任务都需要耗费人力进行训练，非常耗时费力。

然而，当GPT从GPT⑴升级到GPT⑵时，OpenAI尝试减少甚至去除了微调的步骤

他们增加了GPT⑵的文本训练量，并增加了参数数量，将GPT⑴的1.17亿参手机壁纸数增加到GPT⑵的15亿参数GPT⑵变得更加强大，没有仅学习能力更强，甚至在没有微调的情况下，也能理解人类提出的问题，这让人们感到震惊。

OpenAI团队基于相同的原则，再次将GPT⑵的参数增加了135倍，创建了拥有1750亿参数的GPT⑶，成为目前最强大的大型语言模型。

在没有人工微调的情况下，它在1次尝试和零次尝试的表现中表现出色1次尝试表示带有少量范例题，而零次尝试表示完全没有范例题，只有问题可以明显看到，随着模型参数量的增加，即使没有微调，正确度也会提高这显示了大型语言模型的集体力量和强大能力。

更令人惊讶的是，这种大型语言模型没有仅仅是简单地回答问题如果要求它详细解释推理过程，它会告诉手机壁纸原因来给你1个合理的解释比如你问它为何会下雨，它会告诉下雨是由于水蒸气在大气中冷却凝结形成水滴，然后这些水滴聚集在1起形成云和降水的过程。

这显示出它能够提供完整的思维过程科学家推测，在大型语言模型中，AI可能已经建立起1种思考链，能够以逻辑推理的方式回答简单的数学问题和常识推理题目AI对"思考"的模拟变得越来越真实5、 GPT训练的资料是怎么来的。

GPT之所以能够变得如此庞大，依赖于超过45TB的训练数据。但你是否曾思考这些数据是如何获得的呢？GPT的数据大约有20%来自Reddit。

GPT的数据大约有20%来自RedditOpenAI收集了在Reddit上Karma值大于3的用户帖文作为训手机壁纸练数据这些数据经过人类整理，文章清晰易懂，类似于带有完整标记的文本，是优秀的参考材料除了Reddit，Twitter和维基百科也是OpenAI的数据收集来源。

超过60%的数据来自非营利组织Common Crawl的爬虫程序收集的数据

维基百科Common Crawl定期抓取网络上公开的所有网页信息，供搜索引擎、AI研究人员等使用然而，这超过300TB的数据是杂乱无章的，并没有是高质量的数据由于Common Crawl没有筛选数据，它抓取的内容五花八门，这也导致GPT出现了许多抄袭和智慧财产权的争议。

Common CrawlCNN、华尔街日报等多家支流媒体曾指控OpenAI在未经许可的情况下使用他们手机壁纸的文章来训练GPT然而，像GPT⑶这样庞大的模型并没有是人人都能拥有的GPT⑶庞大的数据量和参数使其训练成本超过百万美元，这还没有包括服务器维护成本。

为了减少服务器负载，Bing浏览器限制了用户数量和每日查询量没有仅微软采取了这个措施，在Bing发布的同1天，Google也做了类似的准备除了可能面临未来竞争对手的挑战外，GPT本身还存在许多没有足的地方OpenAI在论文中特别提到他们非常担心这样的工具会被有心人士滥用，并且无限制地收集数据会受到网络数据的影响。

OpenAI进行了1项调查，研究文本中对亚洲人、黑人、白人、拉丁裔等人种的形容词，给予正面形容词正分，负面形容词负分。

描述黑人的形容词，分数明手机壁纸显低于其他人种他们发现描述黑人的形容词得分明显低于其他人种这种现象并没有会随着参数增加而改善，类似的问题在性别、宗教等方面也存在此外，如果网络上的错误信息比正确信息更多，会影响样本的有效性。

针对这些问题，OpenAI的技术长Mira Murati在接受TIME杂志的采访时表示，这是1个关键时刻，类似OpenAI的公司应受到1定程度的规范我们必须确保AI为人类服务，并且我们必须倾听来自哲学家、社会科学家、艺术家、人文学专家等没有同领域的建议。

OpenAI将审慎确保AI没有会对人类造成伤害

OpenAI的技术长Mira Murati