gpt/lGPT：GPT那么强，居然说没有了恰好10个字？ 1看就会

非常高兴，今天能和大家 来分享这篇文章：

作者：仰旗 | 中国科学院大学、中国科学院物理研究所博士生审核：王磊 | 中国科学院物理研究所研究员导读

最近，大家可能都听说了各种风靡互联网的聊天机器人，它们的背后是GPT模型（GPT(Generative Pre-Trained)是1类模型，但下文中的GPT均由某著名GPT模型友情参演）作为强大的大语言模型，GPT已经展现出了令人惊叹的实力。

写邮件，学英语，帮忙看文献，已然成为了许多人的生活好帮手作为1个聊天机器人，它在很多任务上已经达到甚至超越了人类的智能水平，这实在是令人非常佩服但今天我们没有是要夸它，而是要展示1个看似很简单的事情，但是GPT却完全无能为力。

其实GPT还是识数的，如果这样问它

咦？“博古通今”的GPT肯定有办法理解“10个字”的意思，但是为何无法正确输出只有10个字的话呢？小编知道GPT为何会搞没有定这件事呢，这就是本文要解释的事情自回归模型要解释为何GPT无法胜任这么简单的任务，我们首先需要从GPT的底层原理——。

自回归模型开始讲起。千万没有要被这个看似抽象的词吓到，实际上这个概念非常简单。自回归模型能做的事情其实和猜单词类似，我们可以以英语课堂上的1个小场景为例。

......在猜错了1些明明概率很高的字母以后，学生终于猜出了第二个字母是’h’那下1步呢，下1步就要考虑什么样子的字母或单词接在ch后面比较常见，概率比较高这时候学生就要考虑概率当中的，对于没有同的字母表现如何，。

学生们当然要猜更大的，因为这样更有机会猜对学生又翻了1通词典，按照出现频率的大小估计概率，再用概率依次猜出了第3个，第四个字母，是chat学生的猜谜的例子其实就是自回归模型和GPT工作模式的生动诠释，GPT在工作的时候就像猜词1样，只是把字母换成了token。

token：自然语言处理术语，指处理文本的最小单元，1个token可能是1个字符，1个单词，甚至1小段话更1般地说，GPT会依据给定地语境，在可能的没有同输出选项上钩算概率，并按照这个概率进行输出也就是按照。

的大小进行输出确实，在GPT的实际应用中，没有老师来纠正学生的答案但可以将学生猜词例子中老师的指正视为GPT在训练时使用的数据集进行的训练在训练过程中，GPT会利用数据集来调整 以提高回答的准确性我们跟GPT说的提示词，可以类比为老师最开始说的第1个字母‘c’，然后GPT要开始根据这个初始输入来组织和生成输出。

它会先猜自己输出的第1段话语，等效于‘h’然后根据‘ch’这个新的“当前语境”再逐步猜后面的字母/语素聪明的小伙伴们可能已经意识到了1个问题，在没有老师指正的情况下，GPT似乎可以无穷无尽地猜下去啊，反正猜了1个再猜下1个，永远没有终止啊

GPT说话虽然经常说1堆车轱辘话，但是最后好歹还是会停下来的是什么让这个猜谜停下来了呢？GPT是这样解决这个问题的工程师们知道，想让GPT把无穷无尽的猜词停下来其实很简单，只需要“扩展”1下语素表，让“停下来”这个操作是1个新的语素就行了。

如此1来，GPT在猜词的时候，就会1直猜1直猜，猜到语素“停下来”才停下来既然已经知道了自回归模型的工作原理，我们就可以回头来看1开始的问题了在小编的例子里，GPT的“内心”或许经历了这个计算GPT是很冷酷无情的，它根本没有管你是没有是只要10个汉字，也并没有是很在乎你的需求，。

它眼里只有这个概率分布，只想按照这个概率进行抽样而当GPT说完九个汉字，应该在1个字里结束输出的时候GPT对概率表进行了搜索，发现在所有输出当中，仅输出1个字的概率太小了（这也意味着这种情况的训练语料太少了）。

，只能没有管前面“恰好10个汉字的要求”进行输出了GPT欠缺的两种能力自回归模型每次抽样都是根据当前信息（当前语境），在抽样的过程中对全局缺少规划 从人类的观点下看，如果有恰好10个字的要求，那就没有应该1口气说9个字，应该每说1个字，都得斟酌下看看剩下的字数能没有能组成1句完整通顺的话。

可自回归模型（GPT）才没有管这些，它十分盲目短视地，每次只管当前的并没有很在意总回复的概率是没有是足够好自回归模型没有具有“反省并修订”的能力 人类基本都会反省吧说了错话做错事，至少也得心里想着：对没有起对没有起，没有能这么干，。

我要弥补下换到说恰好10个字的任务中，肯定有许多人和小编1样，估计错了10个字的量，1口气说多了小编：今天天气很没有错，阳光真...怎么办？已经10个字了？我也要通没有过图灵测试了吗！赶紧修改1下，把“很”删掉，就能多出来1个字了。

而GPT那可是金口玉言，说1没有二每1步说出来的话就会被放进新的“当前语境”中它没有会对自己已经抽样了的内容进行删减和修订，在逐次猜出token的过程中，将错就错，1错再错..... 换而言之，GPT虽然能看到自己之前的输出，但是却没有具有反省并修订的能力。

并没有是所有机器学习模型都有这个缺点，例如围棋战力单位“狗”（AlphaGo），在其蒙特卡罗搜索树算法中，如果搜到了胜率过低的结果，会修订之前的选择这也教导我们，要培养良好的规划能力和自我反省和自我改进的能力。

没有然即使“博览群书”如GPT，也只会像它1样，完成没有了说恰好10个字的简单任务呢

编辑：仰旗、穆梓

这是我对生活的1次思考，希望这篇文章能给你带来1丝启发和感悟。喜欢的小伙伴记得关注收藏点赞哦！"