gpt elmogpt4国内怎么用：OpenAI用GPT⑷解读GPT⑵，看来能打败魔法的，只有魔法 这样也行？

在这个快速发展的互联网时代，每1天都有新的创新和突破出现。现在，就让我们聊1聊最近互联网界的1些热门话题，看看有哪些令人瞠目结舌的事情正在发生。

原标题：OpenAI用GPT⑷解读GPT⑵，看来能打败魔法的，只有魔法

来源丨元宇宙简史作者丨元宇宙简史编辑 Eco【元宇宙导读】OpenAI最新研究利用GPT⑷自动进行大语言模型中神经元行为的解释和评分，并将其应用于另1种语言模型GPT⑵，公开了这些GPT⑵神经元解释和分数的数据集。

这项技术让人们能够利用GPT⑷来定义和自动测量AI模型的可解释性，从而更好地理解智能是如何工作的大语言模型（LLM）是基于大量文本数据训练，包含数千亿或更多参数的语言模型在大数据时代，这类AI机器学习模型可以在提升产品销售、辅助人类决策过程中起到很大的作用。

但是计算机通常没有会解释它们的预测结果，而语言模型想要变得更强大、部署更广泛，就需要研究可解释性，因为人类对模型内部工作原理的理解仍然非常有限，例如可能很难从中检测到有偏见、欺骗性内容输出可解释性就是将模型能用通俗易懂的语言进行表达，把模型的预测过程转化成具备逻辑关系的规则的能力，从而通过查看模型内部来发现更多信息。

例如，如果有1个针对“漫威超级英雄”的神经元，当用户向模型提问“哪个超级英雄的能力最强”时，这个神经元就会提高模型在回答中说出漫威英雄的概率。

站在OpenAI 的角度看，大模型未来将和人脑1样拥有“神经元”，这些神经元会观察文本中的特定规律，进而影响到模型本身生产的文本所以可解释性就是将模型能用通俗易懂的语言进行表达，把模型的预测过程转化成具备逻辑关系的规则的能力，从而通过查看模型内部来发现更多信息。

为了实现这个目标，OpenAI最近发布了1个关于GPT⑷语言模型解析神经元的对齐性研究成果，利用自研基于GPT⑷技术的开源工具，来尝试计算其他架构、更简单语言模型上神经元的行为并对其进行评分。

而且，还可以将其应用于另1种语言模型中的神经元——本次选择4年前发布、包含307200个神经元的大模型GPT⑵为实验样本，公开了这些GPT⑵神经元解释和分数的数据集。

“我们迈出了使用 AI 进行自动化对齐研究的重要1步”OpenAI 联合创始人 Greg Brockman表示具体来说，OpenAI开发了1套包含自动化工具和测试方法的评估流程：首先，研究人员让GPT⑵运行文本序列，等待某个特定神经元被频繁“激活”；。

然后，让 GPT⑷ 针对1段文本生成解释，例如通过GPT⑷接收到文本和激活情况判断漫威是否取电影、角色和娱乐有关；

随后用 GPT⑷ 模拟 GPT⑵ 的神经元接下来会做什么，预测行为；

最后评估打分，对比GPT⑷模拟神经元和GPT⑵真实神经元的结果的准确度，在下图这个例子中，GPT⑷ 的得分为0.34。

使用上述评分方法，OpenAI 开始衡量他们的技术对网络没有同部分的效果，并尝试针对目前解释没有清楚的部分改进技术例如，他们发现以下方式有助于提高分数：- 迭代解释他们可以通过让 GPT⑷ 想出可能的反例，在根据其激活情况修改解释来提高分数；。

- 使用更大的模型来进行解释随着解释模型（explainer model）能力的提升，平均得分也会上升然而，即使是 GPT⑷ 给出的解释也比人类差，这表明还有改进的余地；- 改变被解释模型的架构用没有同的激活函数训练模型提高了解释分数。

OpenAI 表示，他们正在将GPT⑷编写的对GPT⑵中的所有307,200个神经元的解释的数据集和可视化工具开源，同时还提供了OpenAI API公开可用的模型进行解释和评分的代码，从而希望学术界能开发出新的技术来提升GPT模型解释分数。

OpenAI还发现，有超过 1000 个神经元的解释得分至少为0.8分，这意味着GPT⑷模型可以解释大部分人类神经元，同时目前GPT理解的概念似乎和人类没有太1样例如，他们发现了1些有趣但 GPT⑷ 并没有理解的神经元。

这些神经元似乎对文本中的某些特征或模式有敏感度，但是GPT⑷无法用简单的语言描述它们OpenAI希望随着技术和研究方法的改进，进1步提高AI模型可解释性能力，从而更好地理解这些神经元的行为和意义对于本研究局限性， OpenAI表示，目前GPT⑷生成的解释还没有完美，尤其要解释比GPT⑵更大的模型时，表现效果很差。

神经元复杂行为无法用简短的自然语言描述，OpenAI 解释了神经元的这种行为，却没有试图解释产生这种行为的机制，而且整个过程算力消耗极大等OpenAI 希望在未来的工作中可以解决上述这些问题，最终OpenAI希望使用模型来形成、测试和迭代完全1般的假设，从而比肩人类大脑的想法和行为，以及将其大模型解释为1种在部署前后检测对齐和安全问题的方法。

然而在这之前，OpenAI还有很长的路要走“我们希望这将开辟1条有前途的途径”Jeff Wu表示，这1技术可以让其他人可以在此基础上构建并做出贡献的自动化方案，从而解决 AI 模型可解释性问题，很好地解释这些模型行为，比如 AI 如何影响人类大脑中的神经元等。

宽正声明：本文为元宇宙简史原创，未经授权禁止转载！内容仅供参考交流，没有

感谢您的阅读，如果您有任何问题或建议，请在评论区留言。