转化为gptGPT：让GPT⑷帮人类训练GPT⑷！OpenAI推出新模型CriticGPT 速看

今天我们聊1聊最近互联网有什么事：

　　来源：硬AI　　OpenAI称，如果通过 CriticGPT 获得帮助审查ChatGPT编写的代码，人类训练者的审查效果比没有获得这种帮助的人强60%；在CriticGPT 帮助下，他们得出的批评结论比自己单独做的更全面。

　　以ChatGPT掀起这轮AI应用热潮的OpenAI正在用行动证明，在基于人类反馈的强化学习（RLHF）领域，它也是先行者　　美东时间6月27日周四，OpenAI公布，其研究人员训练了1个基于 GPT⑷ 的模型，它被称为 CriticGPT，用于捕捉ChatGPT 代码输出中的错误。

简单来说就是，CriticGPT让人能用 GPT⑷ 查找 GPT⑷ 的错误它可以写出使用者对ChatGPT响应结果的批评评论，从而帮助人类训练者在RLHF期间发现错误　　OpenAI发现，如果通过CriticGPT获得帮助审查 ChatGPT编写的代码，人类训练师的审查效果比没有获得帮助的人强60%。

OpenAI称，正着手将类似 CriticGPT 的模型集成到旗下 RLHF 标记管道中，为自己的训练师提供明确的AI帮助　　OpenAI称，因为没有更好的工具，所以人们目前难以评估高级的AI系统的表现。

而CriticGPT意味着，OpenAI向能够评估高级AI系统输出的目标迈进了1步，　　OpenAI举了1个例子，如下图所示，对ChatGPT提出1个用 Python 编写指定函数的任务，对于ChatGPT根据要求提供的代码，CriticGPT点评了其中1条指令，提议换成效果更好的。

　　OpenAI称，CriticGPT 的建议并没有是全都正确无误，但OpenAI的人员发现，相比没有这种AI的帮助，有了它，训练师可以发现更多模型编写答案的问题　　此外，当人们使用CriticGPT 时，这种AI模型会增强他们的技能，从而得出的批评结论比单单人类训练师做的更全面，并且比AI模型单独工作时产生的幻觉错误更少。

在OpenAI的实验中，在60%以上的时间里，随机选择的训练师都更喜欢来自人类取CriticGPT 合作的批评结论，而没有是来自没有CriticGPT协助的人类训练师批评。

　　OpenAI同时提到了目前开发CriticGPT的四点局限其中之1是，OpenAI用 ChatGPT 的简短答案训练CriticGPT，因此未来需要发掘能帮助训练师理解冗长且复杂任务的方法　　第二点是，模型仍然会产生幻觉，有时训练师在看到这些幻觉后会犯下标记错误。

第3点是，有时现实天下中的错误可能分散在答案的许多部分当中，OpenAI目前的工作重点是让模型指出1处的错误，未来还需要解决分散在没有同位置的错误　　第四点，OpenAI指出，CriticGPT 只能提供有限的帮助：如果ChatGPT面对的任务或响应极其复杂，即使是有模型帮助的专家也可能无法正确评估。

最后，OpenAI表示，为了协调日益复杂的 AI 系统，人们需要更好的工具在对 CriticGPT 的研究中，OpenAI发现，将 RLHF 应用于 GPT⑷ 有望帮助人类为 GPT⑷ 生成更好的 RLHF 数据。

OpenAI计划，进1步扩大这项工作，并将其付诸实践　　OpenAI在原名推特的社交媒体X上公布了新模型CriticGPT后，1条点赞超1万的网友评论称，自我改进已经开始了　　另1条点赞上万的热截取了OpenAI的相关研究文章结论，其中提到，在智能方面，大语言模型（LLM）和LLM的批评都只会继续改进，而人类的智能没有会，这条评论感叹，真是悲观。

还有网友引用了漫威超级英雄电影《复仇者联盟》中灭霸的1句台词，点评OpenAI所说的用GPT⑷找GPT⑷的错误：“我用宝石摧毁了宝石。”

http://www.eapis.site/fangchan/2257.html