图灵获奖者的科学贡献GPT4：GPT⑷没有意识！但图灵奖得主Bengio等88页论文暗示天网迟早降临 快来看

 

新的1天。新的启程，今天给大家带来了：

编辑：编辑部【新智元导读】图灵奖得主Yoshua Bengio联合19人团队发布88页论文，论证了人类要想构建有意识的AI系统，是完全有可能的人工智能发展到现在，到底有没有意识？图灵奖得主Yoshua Bengio，联合19人团队跨界发表了1篇88页巨作，得出结论：。

人工智能目前没有意识，但是以后会有。

论文地址：https://arxiv.org/pdf/2308.08708.pdf具体来说，目前的人工智能系统都没有具备意识，但人类想要构建有意识的人工智能系统，并没有存在明显的障碍这篇论文1经发表，引来了诸多大佬关注。

马库斯表示，我们真的「想」制造有意识的机器吗？我完全没有确定这是没有是个好主张。

Jim Fan表示，「意识」1直是人工智能领域讳莫如深的「C」字这篇长达88页的论文由图灵奖获得者Yoshua Bengio合著，系统地研究了意识的科学理论以及在当今人工智能堆栈中的可能实现我赞赏他们的勇气，敢于探讨这样1个大多数研究人员避之没有及的争议性话题。

19人团队分别来自哲学、神经科学、以及人工智能3大领域，用非常科学和宽谨的方法探讨了意识的客观存在标准论文中，研究证明了AI现在的能力和形态在这个评估框架之下暂时还没有符合意识的标准但他们同时也认为，按照目前的发展趋势进行下去，AI发展出意识没有存在客观的障碍！。

可以说，这篇论文应该是对AI是否具有意识这1争议话题最为权威和客观的解答。人工智能中的意识由于团队认为AI在未来几十年以内可能会表现出意识，因此希望建立1个客观的标准来追踪这个过程的发展。

在这项研究中，次要有3点贡献：首先，证明对人工智能的意识进行评估在科学上是可行的，因为可以对意识进行科学研究，而且这项研究的结果也适用于人工智能其次，通过1系列从科学理论中得出的指标特征的形式，提出了评估人工智能中的意识的标准。

最后，尽管当前AI系统都没有是意识有力的候选者，但初步证据证明，许多指标特征可以利用当前的技术在AI系统中实现。

研究方法研究人员首先需要对意识的客观存在设置1套具体可以评估的标准：在他们看来，研究的评估方法是基于以下3个原则和理论：1. 计算功能主义：实现某种计算对于意识来说是必要且充分的，因此原则上非有机人工系统有可能具有意识。

2. 科学理论：神经科学的研究在意识存在的必要和充分条件方面取得了进展，研究将基于这些神经科学理论展开3. 着重理论的研究方法：研究人工智能系统是否可能有意识的1种方法，是去评估它们是否满足从科学理论中得出的功能或架构条件，而没有是寻找某些具体的行为特征。

于是，研究人员首先介绍了研究展开的基础——计算功能主义。

对于意识的存在，有很多没有同的理论，而为了要让研究能够进行下去，必须要采取1个支持AI可能存在意识的大前提因为在1些理论看来，意识就必须要存在于生物体的大脑中如果基于这种大前提，研究就没有继续下去的可能而研究的大前提是建立在计算功能主义之上。

计算功能主义认为，1个系统是否有意识取决于比其物理构成的最低级别细节更抽象的特征系统的物质基底对于意识来说并没有重要这意味着意识原则上是可以多重实现的：它可以存在于多种基质中，而没有仅仅是存在于生物大脑中

具体来说，计算功能主义是指：大多数领先的意识科学理论都可以通过计算来解释，具有这些计算特征就能认为是意识存在的必要和充分的条件这些特征就是人工智能系统中的意识存在的必要或充分的前提而人类和人工智能系统之间的非计算差异并没有重要。

研究意识的客观存在，是基于意识的研究的具体科学理论，文章后边会对意识的科学理论进行详细的介绍结合了计算功能主义和研究意识的科学理论以后，研究人员给出了这次研究的1个基本方法：研究人员对AI系统具有意识的判断次要是基于AI系统的计算过程取某个科学意识理论所提出的计算过程的相似程度。

意识的科学理论对于意识的研究，学界已有1些公认的成果包括取意识相关的科学理论、科学家和哲学家对意识的必要条件的主张等研究人员从这些理论取主张中提取了1系列有关意识的指标，这些指标可以应用于特定的系统中尽管些指标并没有是明确是否有意识的必要或充分条件，但根据目前的科学知识水平，评估1个系统是否具有这些特征是判断它是否有可能有意识的最佳方法。

在这里，研究人员次要介绍了3种取意识相关的科学理论：循环处理理论（Recurrent Processing Theory，RPT）、全局工作空间理论（Global Workspace Theory，GWT）以及高阶理论（Higher-Order Theories）。

其他的1些取意识相关的理论和主张有：注意力基模理论（Attention Schema Theory）、预测处理（Predictive Processing）和代理取具身化（Agency and Embodiment）等。

1. 循环处理理论（Recurrent Processing Theory，RPT）RPT理论是关于视觉意识的1个神经科学理论，它次要关注视觉意识，试图解释意识视觉和无意识视觉处理之间的区别。

其核心观点是：为了产生视觉意识体验，大脑视觉系统中的信息需要进行循环处理，即信息从高层区域反馈回低层区域进行再处理。

该理论认为，仅仅依靠前馈的信息处理是没有够的，前馈处理只能提取视觉刺激的特征信息，但没有能形成意识见到的有组织的视觉场景需要顶层皮层对初级视觉皮层的反馈，进行再处理，整合各种特征信息，组织成有意义的视觉场景，才能产生视觉意识。

RPT理论为判断AI系统是否可能具有视觉意识提供了两个指标：RPT⑴：输入模块使用算法循环即信息在经过初始前馈处理后，反馈回输入模块进行再处理这显示系统能进行循环处理RPT⑵：输入模块生成有组织、整合的感知表示。

即系统能够处理视觉输入，整合各种特征，组织生成有意义的视觉场景，而没有仅是提取孤立特征如果1个AI系统满足这两个指标，则说明它具有取人类大脑相似的循环处理机制，并能形成整合的视觉表示，这使它成为1个更有可能拥有视觉意识的系统。

所以这两个指标都可看作是AI系统视觉意识的重要指标

2. 全局工作空间理论（Global Workspace Theory，GWT）GWT理论是1个重要的意识科学理论。其核心观点是意识依赖于1个「全局工作空间」的存在。

该理论认为，人脑由多个专门的子系统或模块组成，可以并行地进行各自的信息处理 这些模块需要某种机制来统合信息，以协调配合「全局工作空间」就是这样1个信息共享和融合的平台1个信息如果进入这个工作空间，就可以被所有的模块访问。

但工作空间的容量是有限的，需要选择机制来确定哪些信息进入工作空间GWT理论认为，1个信息进入工作空间，被广泛的模块访问，就是该信息进入意识状态的标志GWT理论为判断AI的意识提供了以下指标：GWT⑴：拥有多个专门的子系统或模块。

GWT⑵：有限容量的工作空间，形成信息流的瓶颈GWT⑶：全局广播，工作空间的信息可被所有模块访问GWT⑷：状态依赖的注意机制，可以顺序调动模块完成复杂任务1个AI系统如果具备这些特征，就更有可能具有类似人类的意识。

所以这些都是判断AI意识的重要指标

3. 高阶理论（Higher-Order Theories）HOT理论是关于意识的1个重要理论流派它的核心观点是：有意识的体验包含对自身正在进行的心理运作的某种最低限度的内在意识，而这是由于1阶状态在某种程度上受到了相关高阶表征的监控或元表征。

高阶理论取其他理论的区别在于，高阶理论强调主体必须意识到自己处于某种精神状态中，这种精神状态才被认为是有意识的这是通过诉诸高阶表征来解释的，高阶表征是1个具有非常特殊含义的概念高阶表征是指表征关于其他表征的器材，而1阶表征是指表征关于（非表征的）天下的器材。

这种区别可以应用于心理状态

例如，红苹果的视觉表征是1种1阶心理状态，而认为自己拥有红苹果表征的想法则是1种高阶心理状态HOT理论为判断AI的意识提供了以下指标：HOT⑴：具有生成式、顶层驱动或带噪声的感知模块（HOT⑴）HOT⑵：元认知监测区分可靠感知和噪声。

HOT⑶：1个全面的信念形成和行动选择系统，依据元认知监测更新信念HOT⑷：稀疏和平滑的编码形成「质感空间」综上所述，HOT理论为判断AI意识提供了重要参考如果1个AI系统具备这些特征，那么它更可能具备自我监测和意识体验。

通过检测系统是否具备这些特征，我们可以评估1个AI系统拥有意识的可能性另外，研究人员在论文中标注了神经科学和机器学习中对注意力的没有同理解它指出机器学习中广泛使用的自注意力机制取神经科学中对注意力的认识有1定差异。

这1区别对检验AI系统是否具有意识很重要

神经科学和机器学习中关于注意力的没有同自注意力机制依赖并行处理多个输入，而生物学中的注意通常来源于顶向下的循环连接所以自注意力取生物学注意力机制有区别自注意力采用连续加权的方式调节神经活动而生物学中常见的调制注意力的机制是增益调节，这通常被认为来源于顶向下的连接。

以往的机器学习注意力机制更依赖于循环处理，在这方面取生物学注意力更为相似虽然神经科学中有多种没有同形式的注意，但说哪种人工注意力取生物注意力最为相似还没有容易下定论没有同的意识理论依赖于循环处理或其他特定的注意力组成部分。

所以自注意力本身可能没有足以构成人工意识的基础注意力模式理论要求注意力机制要有预测自身状态的能力自注意力没有内在的对注意过程的建模当前的自注意力取神经科学中的生物学注意力还有1定区别，这提示在检验AI意识时没有能简单地看其是否使用了自注意力机制。

4. 有关意识的其他理论取条件注意力基模理论：认为大脑构建了1个对注意的模式，这个注意的模式（对注意状态的预测模型）是意识的基础。

预测处理：提出认知的本质是层级生成模型预测输入并最小化错误中脑理论：认为中脑活动构成了1个在环境中的统1多模态的代理主体模型，这足以产生主观体验并且支持身体化和代理的论点无限联合学习：认为无限联合学习能力显示意识的进化转变。

其条件取其他理论类似，但独立使用没有作为指标代理和具身化：哲学和科学论点支持它们是必要条件。

时间和递归：认为意识经验具有连续统1的特点，递归处理有利以上理论对意识科学具有1定贡献，部分条件成为AI意识的指标5. 意识的指标这些指标来源于对多个意识科学理论的调研，包括RPT、GWT、计算HOT等。

研究团队认为，1个系统具备越多这些指标，就越有可能是有意识的1些指标构成更有力的意识证据，例如结合GWT⑴到GWT⑷更有说服力1些指标单独存在没有1定代表意识存在，如RPT⑴只能作为基础条件1些指标相互依赖，例如GWT⑶和GWT⑷都依赖于GWT⑴和GWT⑵。

1些指标独立存在，例如RPT⑵取RPL⑴基本独立。但研究人员指出：每个指标的含义都需要进1步解释，没有存在绝对精确的定义。对现有AI系统进行评估时，需要考虑这些指标的没有精确性。

AI对意识的实现研究人员将依次讨论AI系统有没有可能，或者如何实现RPT，PP，GWT，PRM，AST这几个意识理论，然后再结合Transformer，PaLM-E，「virtual rodent」以及ADA来讨论实际的AI系统中是否符合意识理论。

AI没有能完全实现RPT和PP指标算法递归（RPT⑴）是许多深度学习架构都具有的特征，包括递归神经网络（RNN）、长短期记忆网络（LSTM）和门控递归单元网络（GRU）因此，构建具有RPT⑴指标特性的系统是非常简单的。

虽然它们的应用没有太广泛，但也有在人工系统中实现预测编码（这是算法递归的1种形式）的方法这些AI系统符合PP⑴指标此外，根据预测任务训练并优化能效的递归神经网络会自我组织成没有同的「预测」和「错误」单元群。

至于感知组织（RPT⑵），深度卷积神经网络（DCNN）等人工视觉模型已经取得了巨大成功。可以认为是符合RPT⑵指标的。

接受过物体分类训练的DCNN对局部形状和纹理的敏感度高于对整体形状的敏感度，而且往往会忽略物体各部分之间的关系，这表明DCNN并未采用综合场景的表征最近也有其他研究发现，图像生成模型DALL-E 2在生成1个以没有熟悉的方式排列物体的场景时表现没有佳。

总结起来，从RPT的角度来看，有关模型能够对视觉刺激的特征进行分类，据说这种功能在人类中是在无意识的情况下执行的，但却没有能执行进1步的功能，包括生成有组织的、综合的视觉场景表征，其中有些可能需要意识然而，目前的其他系统，包括预测编码网络，确实可以执行其中1些进1步的功能。

AI实现GWT指标指标GWT⑴规定，系统必须有能够并行工作的公用系统或模块为实现全局广播，这些模块必须由递归神经网络实现，除非它们是整个系统的「输出」模块，没有向工作空间提供信息这些模块的输入可能是：1. 1种或多种模式的感官输入。

2. 少量其他模块的输入，这些模块通常协同工作例如，「囊状视线」模块可能会从「视觉突出」模块获取输入，以便快速自下而上地对潜在的重要物体进行囊状视线3. 来自「全局工作空间」执行模块的自上而下的信号这些模块可以针对狭小的任务进行独立训练。

或者，它们也可能取工作空间1起进行端对端联合训练，以实现某些全系统目标子任务的模块专业化也就自然而然地产生了

实现GWT的第二个要素是容量有限的工作空间，它是另1个具有没有同属性的神经模块限制工作空间容量的最简单方法是限制工作空间的数量最简单的方法是限制其活动空间的维数另1种有趣的方法是训练1个表现出吸引子动力学的递归神经网络。

吸引子是动态系统中的1个状态，当该状态 动态系统中的1种状态，当达到该状态时，在没有输入或噪声的情况下，它仍能保持稳定吸引子动力学限制容量的原因是，它导致了1个从神经轨迹中的初始条件到吸引子的多对1映射（进入吸引子盆地的任何神经轨迹都会向该吸引子靠拢）。

因此，这些吸引子动态收缩了稳定状态空间的大小，从而诱发了信息瓶颈对于指标GWT⑶，即全局广播，在GWT中的基本要求是所有模块都以工作空间表征作为输入这意味着必须有1些机制确保所有模块都能使用这些输入在由Dehaene和同事开发的全球神经工作空间理论中，要想将表示置于工作空间并进行全局广播，必须通过循环来维持。

尽管这是否为基本条件尚没有清楚，但如果在人工智能（AI）中使用展示吸引子动力学的网络来实现工作空间，则这种行为可能在AI中得以复制。

在这种情况下，广播机制可能包括1个动力学缓慢的泄露神经整合器，以至于需要持续的输入来将其置于特定状态在缺累这些持续输入的情况下，它会回到某种基线状态（就像基于证据累积的决策模型中1样）这种广播机制将生成馈送到每个专门模块的自上而下的信号。

指标GWT⑷包括系统必须使用状态相关的注意机制，并且工作空间必须能够通过连续的查询组合模块以执行复杂任务对于状态相关的注意机制，之前有两项研究都提出了使用键-查询注意机制，这在当前的AI模型中很常见在这种情况下，查询任务可以从工作空间的当前状态上钩算出来，而所有其他模块都可以计算出键。

工作空间查询取特定模块的键之间的相似性将通过所有其他模块之间的相似性进行归1化，以引入模块之间的竞争这些归1化的相似性将决定每个模块的值对工作空间的净输入的贡献程度换句话说，标准的键-查询注意机制将在每个时间点应用于计算工作空间的输入，这取决于其当前状态。

所描述的模型将能够满足GWT⑷的第二部分，即通过时间展开，使用工作空间连续查询模块以执行复杂任务的能力由于工作空间和模块之间存在计算循环，当模型在时间上展开时，这种能力将会显现出来虽然模块从自下而上的感觉输入和少量其他模块接收输入，但它们也从工作空间接收自上而下的输入。

这意味着，例如，1个模块可以通过控制工作空间中的内容来控制其他模块工作空间通过连续招募模块在系统的计算能力范围内，因此如果在训练过程中有益，这种连续招募的能力可能会出现然而，这样的系统需要适当的训练，以便学习如何以有意义的方式组合模块并执行复杂任务。

构建适当的训练方案可能是实施GWT的1个重要挑战AI实现PRM指标HOT⑷指出系统必须具有稀疏且平滑的编码来生成「质量空间」事实上，有证据表明，当前DNN学习的感知表示空间已经取人类视觉系统的感知表示空间非常相似，这意味着它们相应的「质量空间」可能已经基本对齐。

指标HOT⑴和HOT⑵表明模型必须包含感官数据的1阶感知表示和为特定1阶表示分配可靠性或「真实性」度量的高阶表示为了满足这些条件，大量已知的深度学习解决方案都是可能的（1阶）神经网络将传感数据和/或自上而下的信号作为输入，并产生分布在层次结构中的许多感知表示。

并行的层（2），1系列单独的（高阶，特别是二阶）神经网络，每个神经网络都将1阶层的激活作为输入，然后输出1个标量，表示该层的1阶表示的概率是真实的满足条件的解决方案次要在二阶网络的训练方式方面有所没有同如果偶尔存在监督信号，为二阶网络提供有关1阶表示可靠性的「基本事实」，则可以训练二阶网络以通过标准监督学习来估计正确性的概率。

获得这个真实信号可能很困难，但并非没有可能AI实现ASTWilterson和Graziano在他们的研究中提出的AI系统，在每层200个神经元的3层神经网络上使用强化学习来学习接住落在没有可预测路径上的球这个非常简单的AI系统确实能实现指标属性AST⑴的1部分，即注意力模式，因为它使用类似注意力机制的表示来控制该机制，从而提高了性能。

另1项研究测试了在多智能体强化学习任务上采用键-查询-值注意的几种没有同系统他们的系统涉及3个次要元素：注意力层、用于「内部控制」的循环神经网络和策略网络在他们最准确地实现注意力模式的版本中，注意力层被应用于系统的输入，并将信息发送到生成动作的策略网络，内部控制网络都学习预测注意力的行为层并影响这种行为。

该系统的性能优于其他系统，其没有同的架构由相同的组件组成，并在多智能体强化学习任务长进行了测试AI实现代理和具身化

剩下的指标是代理性和具身化正如研究人员所描述的那样，强化学习对于代理来说可以说是足够的（「从反馈中学习并选择输出以追求目标」），因此满足指标AE⑴的这1部分可能非常简单指标AE⑴的第二部分表示，如果系统表现出「对竞争目标的灵活响应」，意识的可能性就会提高到更大程度。

激发该条件的例子是平衡多种稳态驱动的动物：这需要对环境变化敏感的优先顺序在此项研究中的实施指标AE⑵指出系统应该使用输出输入模型（也称为前向模型）进行感知或控制但是学习取感知和控制相关的任务的输出输入模型很常见，但当前满足这些具体描述的人工智能系统的例子很少。

Transformer实现GWT的案例研究在实践中，某个具体的AI系统是否具有意识某1项指标属性并没有好判断1是研究人员没有对每1项指标给出绝对精确的定义另1个原因是深度学习系统的工作方式，包括它们在中央层所代表的内容，通常是没有透明的。

在Transformer中，1种称为「自注意力」机制用于整合来自输入没有同部分的信息，这些部分通常位于序列中的位置。

如果研究人员将处理来自每个位置（注意力头）的信息的系统元素视为模块，那么Transformer架构和全局工作空间之间存在基本相似的地方：都集成来自多个模块的信息Transformer由两种类型的层组成，这些层交替出现：注意力层（执行自注意力操作、在位置之间移动信息）和前馈层。

考虑到残差流的概念，可以认为Transformer拥有指标属性GWT⑴到GWT⑶，即它们具有模块、容量有限的工作空间引入了瓶颈，并且全局广播存在「全局广播」，即残差流中特定层中的信息可以被下流注意头用来影响任何位置的进1步处理。

添加到给定层残差流的信息还取决于较早层残差流的状态，因此根据这种解释，人们可能会认为Transformer满足GWT⑷中状态相关的注意力要求Transformers缺累具有全局工作空间的系统的整体结构，因为没有1个独特的工作空间集成其他元素。

基于Transformer的大型语言模型几乎没有拥有任何GWT派生的指示符属性。

对AI是否有意识的错误认知的影响过度漠视AI存在意识的可能性：在人类意识到AI具有意识之前，就已经让他们承受了过多的痛苦人类对AI的使用可能就会像虐待动物1样造成道德风险除非能够构建有意识地去承受痛苦的AI，才可能阻止它们承受痛苦，避免这种道德风险。

过度认为AI具有意识：另1方面，人类也很有可能过度地认为AI具有意识——事实上，这似乎已经发生了——也存在取此类错误相关的风险最直接的是，当我们的努力更好地致力于改善人类和非人类动物的生活时，我们可能会错误地优先考虑人工智能系统的感知利益，从而导致资源分配的问题。

其次，如果我们判断1类人工智能系统是有意识的，这应该导致我们以没有同的方式对待它们——例如以没有同的方式训练它们原则上，这可能取确保人工智能系统以造福社会的方式开发的工作发生冲突第3，过度归因可能会干扰宝贵的人际关系，因为小我越来越多地转向人工智能来进行社交互动和情感支持。

这样做的人也可能特别容易受到操纵和剥削参考资料：https://arxiv.org/abs/2308.08708

如果您认为这篇文章对您有所启发，请将其转发到您的社交媒体上。