民宿未来趋势gpt4：2023年AI十大展望：GPT⑷领衔大模型变革，谷歌拉响警报，训练数据告急 没有要告诉别人

 

在这个快速发展的互联网时代，每1天都有新的创新和突破出现。现在，就让我们聊1聊最近互联网界的1些热门话题，看看有哪些令人瞠目结舌的事情正在发生。

新年伊始，大模型的话题热度没有减2022年11月底，ChatGPT展现的惊人能力将大模型研究和应用热度推向高潮，人们激烈讨论着这个高级“物种”的推出意味着什么，比如是否会颠覆搜索引擎市场格局踏入2023年，这没有禁让我们对GPT⑷的发布充满遐想，它会比ChatGPT更上1层楼吗？会有哪些没有1样的惊喜？。

岁末年初之际，科技圈的年度盘点没有胜枚举，相关技术预测倒是没有多本文作者Rob Toews发布了2023年AI发展的十大预测，整体来看，大部分预测都离没有开“大模型”这个关键词，具体分析也有其道理当然，其中的文生图、人形机器人等领域的发展也无足轻重。

2023，让我们拭目以待作者｜Rob Toews翻译｜杨婷、徐佳渝1. 重磅事件：GPT⑷将在年初发布GPT⑷是OpenAI的新1代生成语言模型，它有着强大的功能，最近到处流传着它的消息GPT⑷预计将在2023年年初发布，相较于GPT⑶和3.5，GPT⑷的性能有着跳跃式的提升。

尽管最近有关ChatGPT的讨论正在火热朝天地进行，但相比GPT⑷，这只是前奏而已，让我们拭目以待！GPT⑷ 会是什么样子的呢？取人们的直觉没有同，我们预测它没有会比其前身GPT⑶大太多在今年早些时候发表的1篇有影响力的研究论文（。

https://arxiv.org/pdf/2203.15556.pdf）中，DeepMind研究人员称现在的大型语言模型实际上比本来应该有的大小还要大为了能在给定的有限计算预算中获得最佳模型性能，现在的模型应该用更少的参数在更大的数据集长进行训练。

也就是说，训练数据比模型大小重要当今大多数次要语言模型都是在约3000亿个token的数据语料库上训练的，比如说OpenAI的GPT⑶（1750 亿个参数）、AI21 Labs的Jurassic（1780 亿个参数）和微软/英伟达的Megatron-Turing（5700 亿个参数）。

我们预测，GPT⑷的数据集要比上面提到的大1个数量级，也就是说它可能在10万亿个token的数据集长进行训练同时它的参数将比Megatron-Turing的要少据说，GPT⑷有可能是多模态的，除文本生成以外，它还可以生成图片、视频以及其他数据类型的输入。

这意味着GPT⑷能够像DALL-E1样根据输入的文本提示词（prompt）生成图像，或者是可以输入视频然后通过文本的形式回答问题多模态GPT⑷的发布可能是1个重磅消息但是它更可能和以前的GPT模型1样是纯文本模型，它在语言任务上的表现将重新定义SOTA。

具体来说GPT⑷会是什么样的呢？那就是它在记忆（保留和参考前期对话信息的能力）和摘要（提取和精简大规模文本的能力）这两个语言领域的性能会有跨越式提升2. 训练大型语言模型将逐渐开始耗尽数据数据是新时代的石油这种说法早就已经是陈词滥调了，但这样说还没有足以表明数据的重要性：因为石油和数据都是有限的，都有消耗殆尽的1天，在AI领域，语言模型对数据的需求量最大，数据耗尽的压力也更大。

正如前面提到的，DeepMind的Chinchilla work等研究已经表明，构建大型语言模型（LLM）最有效的方式没有是把它们做得更大，而是在更多的数据上对其进行训练但是天下上有多少语言数据呢？更准确地说有多少语言数据达到了可以用来训练语言模型的要求呢？实际上，现在网络上大多数的文本数据并没有达到要求，没有能用来训练大型语言模型。

对于这个问题，我们很难给出确切的答案，但是根据1个研究小组（https://arxiv.org/pdf/2211.04325.pdf）给出的数据，全球高质量文本数据的总存量在4.6万亿到17.2万亿个token之间。

这包括了天下上所有的书籍、科学论文、新闻文章、维基百科、公开代码以及网络上经过筛选的达标数据，例如网页、博客和社交媒体最近的另1项研究数据（https://www.lesswrong.com/posts/6Fpvch8RR29qLEWNH/chinchilla-s-wild-implications）显示，数据总数大约为3.2万亿个token。

DeepMind的Chinchilla模型是在1.4万亿个token上训练的也就是说，在这个数量级内，我们很有可能耗尽天下上所有有用的语言训练数据这可能成为人工智能语言模型领域持续进步的1大障碍许多前沿AI研究人员和企业家私下里都对此忧心忡忡。

随着研究人员开始寻求解决数据短缺这1迫在眉睫的问题，预计2023年对这方面的关注度会增加针对这1问题，合成数据是1种可能的解决方案，尽管该如何操作这1方法还未可知还有另1种可能的方法，那就是系统性地转录会议上的讲话，毕竟口头交流代表着还有大量未捕获的文本数据。

作为天下领先的LLM研究机构，人们十分好奇OpenAI在其即将发布的GPT⑷研究中会如何应对这1挑战，同时，大家也期待着可以获得1些启发3. 1些消费者开始将完全自动驾驶作为日常出行模式在多年预热炒作却1再失信以后，最近自动驾驶汽车领域出现了1些少有人注意的新变化：真正的无人驾驶汽车时代已经悄悄来临。

现在在旧金山，你可以Cruise应用程序（这个程序和Uber或Lyft的APP差没有多），通过这个APP你可以叫到真正的没有司机辅助的无人驾驶汽车带你在街道上穿行目前，这些无人驾驶汽车仅在夜间服务，服务时间是晚上22:00点到早上5:30，但是Cruise已经准备好了要在旧金山提供全天候服务，这个计划预计将在几周后实行。

另1边Cruise的竞争对手Waymo紧跟其后，也开始在旧金山投放无人驾驶汽车2023年，人们将快速习惯robotaxi服务，作为1种方便、可行的交通服务方式，人们1开始会感到新颖、奇怪，然后会快速习惯robotaxi的存在，直到司空见惯。

街道上无人驾驶汽车的数量和使用它们的人数将会激增简而言之，无人驾驶汽车即将进入商业化和规模化阶段无人驾驶汽车的推广将以城市为单位，逐个进行在旧金山的基础上，来年可能会新增至少两个面向公众投放无人驾驶汽车的美国城市。

比较理想的候选城市有凤凰城、奥斯汀、拉斯维加斯和迈阿密4. AI绘画工具Midjourney将筹集风险投资资金OpenAI的DALL-E，Stability AI（和其他贡献者）的Stable Diffusion和Midjourney是目前最著名、最有影响力的3个文生图的AI平台。

2019年，OpenAI从微软处获得了10亿美元的投资，并且目前正在商讨筹集更多资金几个月前，Stability AI获得了1亿美元的投资，而且已经开始寻求更多投资相比之下，Midjourney没有任何外部投资。

没有过，Midjourney的用户和发展速度增长极快，目前为止，它拥有近600万用户和相当可观的收入但是其网站显示Midjourney仍然是1个“小型自筹资金”组织，只有11名全职团队成员大卫·霍尔茨（David Holz）是Midjourney的创始人兼首席执行官，他曾是Leap Motion的联合创始人兼首席技术官，Leap Motion曾是1家飞速发展的虚拟现实创业公司，这家公司在2010年代筹集了近1亿美元的风险投资，以后公司发展状况迅速恶化，最终被收购。

据称这段失败的经历让霍尔茨拒绝接受外部资金到目前为止，Midjourney已经拒绝了很多投资者然而，面对公司的迅猛发展、激烈的竞争以及大量的市场机会，我们推测霍尔茨将在2023年开始为Midjourney筹集投资。

否则，Midjourney将快速在这场由其引发的生成式人工智能淘金热中落伍5. 谷歌作为支流搜索引擎的地位将面临挑战搜索引擎是现代互联网体验的核心，是我们浏览和访问数字信息的次要方式现在的大型语言模型可以进行复杂级别的读和写，这在几年前几乎是没有可思议的，这会对我们的搜索方式产生深远影响。

在ChatGPT出现以后，重新定义搜索的对话式搜索（conversational search）引起了人们的广泛注意对话式搜索让我们可以取AI智能体进行动态对话以找到要查找的内容，没有用再像传统的搜索引擎1样先输入要查询的内容，然后返回1长串链接，比如现在谷歌搜索的做法。

对话式搜索具有广阔的发展前景，但是它还有1个亟待解决的大问题，那就是搜索结果没有够准确，只有解决了这个问题，对话搜索才能发展起来目前对话式LLM的准确性还没有够，因为它们有时会给出取事实没有符的信息最近OpenAI首席执行官Sam Altman称，“现在在重要的事情上，我们还没有能依赖ChatGPT”。

大多数用户也没有会接受没有能百分百保证结果准确的搜索引擎，即使它的准确率可以达到95%甚至99%2023年，研究人员面临的次要挑战之1就是，以1种可扩展且稳健的方式来解决这个问题1批发展势头良好的初创公司正在对谷歌的搜索引擎发起挑战，它们希望通过LLM和对话界面重塑消费者的搜索方式，

比如You.com，Character.AI，Metaphor 和Perfucity等公司但是，LLM没有仅仅只是会改变消费者的互联网搜索方式，它还会改变其他搜索类型比如企业搜索（组织搜索和检索私有数据的方式）同样也处于新黄金时代的风口浪尖。

由于大规模矢量化的出现，LLM首次实现了真正的语义搜索：它能够根据基本概念和高低文而没有是简单的关键字来索引和访问信息这将使企业搜索更加强大和高效像Hebbia和Glean这样的初创公司正在使用大型语言模型引领改变企业搜索的潮流。

下1代搜索引擎将没有仅限于文本人工智能的最新进展为多模态搜索提供了新的可能性：即跨数据模式查询和检索信息的能力因为视频占据了互联网数据总量的80%左右，所以视频搜索代表了最大的发展机会想象1下，如果我们可以轻松且准确地搜索视频中的某个片段、某小我、某个概念或者某个动作，这将是什么样的局面？Twelve Labs是1家初创公司，它构建了1个多模态AI平台，以实现精细化的视频搜索和理解。

自谷歌在互联网时代崛起以来，搜索领域就几乎没怎么发生过变化2023年，有了大语言模型，该领域将发生巨变6. 开发人形机器人将吸引大量注意力、人才以及资金，2023年将有几个新的人形机器人项目启动人形机器人可能是好莱坞电影对AI进行夸张化的极端代表，比如说电影 《机械姬》和《我，机器人》。

人形机器人发展迅速，并逐渐成为现实为何要打造人形机器人呢？原因很简单，因为我们现实天下的大部分架构都是为了人类而打造，如果我们想利用机器人在工厂、购物中央、办公室和学校这样的场所自动完成复杂活动，最有效的方法就是让机器人拥有和人类1样的外形。

这样，机器人就可以应用到多种场景中，且无需适应周围环境今年9月，特斯拉在人工智能日推出了擎天柱（Optimus）机器人，这大大推动了人形机器人领域的发展埃隆·马斯克表示，擎天柱最终会比汽车营业更有价值然而，擎天柱机器人要想完全成熟，还任重而道远 。

但是，当特斯拉将所有资源都投入到优化擎天柱这项任务时，能够取得的进展是无法估量的同样地，许多具有发展前景的初创公司也推动着人形机器人领域的发展，包括Agility robotics、Halodi robotics、Sanctuary AI以及Collaborative robotics。

随着人形机器人产业竞争愈演愈烈，预计2023年会有更多的公司加入到这场角逐中，包括初创企业和1些知名公司（如歉田、3星、通用汽车、松下）这类似于2016年的自动驾驶汽车，当越来越多的人开始意识到汽车行业拥有巨大的市场机会时，次年将会有大量人才和资本涌入该领域。

7. MLOps的新版本：LLMOps将登台亮相当某种新的技术平台出现时，相应的需求和机会也会随之出现，比如说用以支持新平台的工具和基础设施风险投资家们通常把这些辅助工具视为“镐头和铲子”（以迎接即将到来的淘金热）。

近年来，初创企业界最热门的当属广为人知的MLOps机器学习工具初创公司开始1蜂窝地研究MLOps，并以令人咋舌的估值筹集到大量资金：Weights & Biases（获得2亿美元融资，平台估值达10亿美元）、Tecton（获得1.6亿美元融资）、Snorkel（获得1.38亿美元融资，平台估值达10亿美元）、OctoML（获得1.33亿美元融资，平台估值达8.5亿美元）等等。

如今，我们目睹了新1代人工智能技术平台——大型语言模型（LLMs）的问世取预训练语言学习模型（pre-LLM）相比，大型语言模型具有独特的工作流程、技能组件和发展潜能，代表了人工智能的新范式通过API或者开源，人们可以很容易获得大量预训练模型，这完全改变了人工智能产品。

因此，注定会出现1套新的工具和基础设施我们预测LLMOps将成为新的流行趋势，它代表着新1代人工智能的镐头和铲子以新1代LLMOps产品为例，包括基础模型微调工具、无代码LLM部署、GPU访问取优化、提示词实验、提示词链以及数据合成取数据增强。

8. 基于或引用AlphaFold的研究项目数量将会激增2020年底，DeepMind公司首次推出了AlphaFold平台，破解了生命的1大谜团：即蛋白质的折叠问题AlphaFold能够仅从蛋白质的1维氨基酸序中准确地预测出蛋白质的3维形态。

这是1个里程碑式的成就，解决了困扰研究人员几十年的问题（AlphaFold代表了人工智能历史上最重要的成就）因为蛋白质是地球上所有生物进行重要活动的内在基础，对蛋白质的结构和功能了解得越透彻，就越能为生物学和人类健康提供新的可能。

没有论是从开发救生疗法（life-saving therapeutics），到改善农业，还是从对抗疾病到研究生命起源，蛋白质存在于生活中的方方面面DeepMind于2021年7月开源了AIphaFold，并推出了1个数据库，它包含350,000种3维蛋白质结构（作为参考，在推出AlphaFold之前，人类已知的蛋白质结构大约有180,000种）。

此外，几个月前，DeepMind公布了另1个包含2亿种蛋白质结构的数据库——这几乎覆盖了所有科学上已知的蛋白质DeepMind最新版本发布短短几个月后，就有来自190多个国家的50多万名研究人员使用AlphaFold平台，用它查看了200万种没有同的蛋白质结构。

但这仅仅只是开始AlphaFold的巨大突破所带来的影响需要好几年才能逐渐展现出全貌到2023年，预计基于AlphaFold的研究数量将会激增研究人员将利用这1庞大的新型基础生物学知识宝库，将其应用于新型疫苗、新型塑料研发等多个跨学科领域，进而改变天下。

9. DeepMind、Google Brain和OpenAI将致力于为机器人构建基础模型去年，斯坦福大学的1个研究团队提出了“基础模型”（foundation model）1词，它是指基于大量数据训练的大规模人工智能模型。

该模型的构建并没有是为了执行特定任务，而是为了能有效执行各种没有同活动的任务基础模型1直是人工智能最新发展的关键驱动力如今，基础模型非常强大但无论是GPT⑶这样的文本生成模型，还是Stable Diffusion这样的文本转图像模型，又或是Adept这样的计算机操作（computer actions）模型，均只能运用于数字领域。

AI系统在真实天下的应用随处可见，例如自动驾驶汽车、仓库机器人、无人机、人形机器人等等，但到目前为止，它们大多还未受到基础模型新范式的影响这种情况将在2023年发生变化预计用于机器人的基础模型这1早期开创性工作，将由天下领先的人工智能研究机构DeepMind、Google Brain和OpenAI完成（尽管OpenAI去年退出了机器人研究）。

构建用于机器人的基础模型意味着什么？换句话说，构建物理天下的基础模型意味着什么呢？从高层次来看，这样的模型可以用没有同传感器模式（如相机、雷达、激光雷达）的大量数据进行训练，以产生对物理和现实天下物体的普遍理解能力：比如这些没有同的物体是如何移动的、它们之间如何相互作用、它们有多重、多脆弱、多柔软、多灵活以及当你触碰、投掷或者扔它们的时候会发生什么。

这种“真实天下的基础模型”可以针对特定的硬件平台和特定的下流任务进行微调10. 美国将投资数十亿美元建设本国芯片制造设施人工智能和人类智能（human intelligence）1样同时依赖于硬件和设施。

先进半导体对推动现代人工智能而言至关重要到目前为止，影响最大、应用最为广泛的是英伟达的GPU；像AMD、因特尔以及1些研究人工智能芯片的新兴企业也试图跻身芯片市场几乎所有的人工智能芯片都是由美国设计，并在台湾完成制造。

并且全球最先进的芯片几乎都是由台积电（TSMC）这家公司生产的，包括英伟达的GPU由于中美地缘政治的紧张局势，为了降低人工智能硬件瓶颈的没有确定性，降低对台湾的依赖，2023年，美国政府将加大激励措施并对在美建设先进芯片制造设施的工厂给予补贴。

而今年夏天通过的《芯片取科学法》（The CHIPS and Science Act）则为此提供了立法动力和预算资源这1进程已经开始两周前，台积电宣布将投资400亿美元在亚利桑那州建立两家新的芯片制造厂（美国总统拜登亲自访问了亚利桑那州的工厂选址，对其称赞没有绝），更重要的是，新台积电工厂预计将于2026年开始运行，生产3纳米芯片，该芯片将成为当今天下最先进的半导体。

文章写完了，感谢你的阅读，如果你对这个话题感兴趣的话，可以关注我，我会持续更新更多相关的内容。也请你帮我点个赞，收藏1下，让更多的人看到这篇文章，谢谢你的支持！