什么是AI的“涌现能力”？

什么是AI的“涌现能力”？

你可能听过这个词，“涌现能力”，尤其是在聊到AI大模型的时候。这听起来有点玄乎，但其实是一个挺有意思的现象。简单说，就是当你把一个AI模型做得足够大，用足够多的数据去训练它之后，它会突然学会一些你并没有明确教过它的新本事。

这个过程不是平滑的、线性的。不是说模型变大一点，能力就跟着强一点。而是在某个规模的临界点上，能力会突然“跳”出来，从几乎不会，一下子变得很会。 这就像烤箱里的爆米花，加热了半天都没动静，但温度一到那个点，就“砰”地一下爆开了。

谷歌和斯坦福大学的研究人员在2022年的一篇论文里，给“涌现能力”下了一个比较正式的定义：如果一个能力在小模型上不存在，但在大模型上存在，那这个能力就是涌现出来的。

举几个真实的例子就明白了

为了让你感受更直接，我们来看几个例子。这些都不是科幻，是现在的大语言模型已经能做到的事。

• 突然会算术了： 早期的语言模型，你让它做个三位数的加减法，它基本是胡说八道。 因为它的核心任务是预测下一个词，理解语言模式，而不是做数学计算。 但是，当模型规模大到一定程度，比如像GPT-3这种级别的，它突然就能做对两位数甚至三位数的加减法了，而且你并没有专门给它上过数学课。
• 学会了“思维链”（Chain of Thought）： 这是个很关键的能力。 早期你问AI一个需要好几步才能解决的逻辑题，它会直接给你一个错误的答案。但后来研究人员发现，如果你在提问的时候，先给它一个例子，示范怎么一步一步地思考和推理，大模型竟然就能学会这种“分解问题”的思路，然后解决复杂问题。 这种能力在小模型上是看不到的，只有模型足够大，才能理解并运用这种提示策略。 比如，PaLM这个模型在用了思维链提示后，解决数学问题的能力提升了超过300%。
• 识别表情包电影名： 有个测试是给AI看几个表情符号（emoji），让它猜对应的电影名。 比如一个老人、一栋房子和一堆气球，它能猜出是《飞屋环游记》。小模型看到这些只会胡乱拼接词语，但像PaLM这样的大模型，却能准确地解码。 这说明它不仅认识表情符号，还能把它们组合起来，理解背后的抽象含义。
• 理解比喻和讽刺： 语言里有很多微妙之处，比如讽刺。模型需要理解字面意思之外的真正含义。小模型通常做不到这一点。但是，当模型足够大时，它们开始能够识别出对话中的讽刺语气，或者理解一个比喻想表达的真正意思。
• 代码调试： 一些大模型，比如谷歌的PaLM，在规模达到一定程度后，展现出了自动调试代码的能力，这在小模型里是见不到的。

这样的例子还有很多，一个研究甚至列出了超过100种被发现的涌现能力，涵盖了常识推理、事实核查、甚至理解不同语言的谚语等。 这些都不是开发者一个一个功能写进去的，而是模型在学习海量数据后自己“悟”出来的。

为什么会发生这种事？

说实话，这事儿目前科学界还没有一个百分之百确定的答案。 就连OpenAI的科学家在研究GPT-4的时候也承认，他们搞不清楚这东西到底是怎么变得这么聪明的。 这也是为什么有人会觉得AI有点失控的原因，因为它的行为变得难以预测。

不过，现在有一些主流的猜想和理论，试图解释这个现象：

1. 量变引起质变： 这是最核心的思想，也叫“相变理论”。 就像水加热到100摄氏度会变成蒸汽，AI模型在参数量、数据量和计算量超过某个临界点后，内部的运作方式可能发生了根本性的改变。 足够多的神经元和连接，让模型能够从简单的模式识别，进化到更高级的抽象和推理。
2. 多任务学习的副产品： 大语言模型被投喂了互联网上几乎所有类型的文本数据，从小说到代码，从新闻到菜谱。在这个过程中，它为了完成“预测下一个词”这个看似简单的主要任务，不得不学习各种各样的潜在知识和技能。 比如，为了更好地预测一段数学题后面的答案，它就得学点数学逻辑。为了更好地续写一个侦探故事，它就得学点因果推理。这些能力一开始是零散的，但当模型大到能把这些零散知识连接起来时，就涌现出了新的综合能力。
3. 注意力机制的进化： 现在的大模型普遍使用一种叫做Transformer的架构，其核心是“注意力机制”。 简单说，就是模型在处理一个词的时候，能够关注到句子中所有其他相关的词。当模型规模变得巨大，它的注意力“窗口”也变得更宽、更深，能捕捉到更长距离、更复杂的依赖关系，这可能是涌现能力的技术基础之一。

“涌现”不等于“意识”，需要保持客观

聊到这里，很容易让人觉得AI是不是快有自己的想法了。但必须明确一点，目前观察到的“涌现能力”，更多是“功能性涌现”，而不是“意识涌现”。

AI并没有真正地“理解”它在做什么，它的所有行为，包括那些看起来很惊艳的推理，本质上还是基于在海量数据里学到的统计规律和模式匹配。 它是在玩一场极其复杂的“填词游戏”。 有研究发现，你把一个逻辑题里的数字换一下，或者把问题换一种方式问，AI的回答准确率就会大幅下降。 这说明它的推理能力还很脆弱，不像人类那样有扎实的、可以灵活变通的逻辑基础。

而且，有时候所谓的“涌现”也可能是一种“海市蜃楼”或者被夸大了。 比如有一次，谷歌的高管说他们的模型自己学会了孟加拉语，但后来被指出，训练数据里本来就有孟加拉语。 所以，在看待这些现象时，保持一份审慎和客观很重要。

总的来说，AI的涌现能力是一个真实存在的现象，它代表了当数量和复杂度累积到一定程度后，系统会展现出全新的、无法从其组成部分简单推断出的行为。 这让我们看到了AI未来的巨大潜力，也提醒我们，面对一个我们还不能完全理解和预测的工具，需要更多的研究和谨慎。