人工智能真的能预测吗？人工智能模型注定总是会产生幻觉吗

图片来源：Ole_CNX Getty Images

像 OpenAI 的 ChatGPT 这样的大型语言模型 (LLM) 都面临着同样的问题：它们会编造一些东西。

这些错误的范围很广，有的奇怪、无害——比如声称金门大桥在 2016 年被运过埃及——有的问题很大，甚至很危险。

澳大利亚一位市长最近威胁要起诉 OpenAI，因为 ChatGPT 错误地声称他在重大贿赂丑闻中认罪。研究人员发现，LLM 幻觉可被利用向毫无戒心的软件开发人员分发恶意代码包。LLM 经常给出不良的心理健康和医疗建议，比如饮酒可以“预防癌症”。

这种发明“事实”的倾向是一种被称为幻觉的现象，它的发生是因为当今LLM以及所有生成式人工智能模型的开发和训练方式。

训练模型

生成式人工智能模型没有真正的智能——它们是预测文字、图像、语音、音乐或其他数据的统计系统。人工智能模型通过提供大量通常来自公共网络的示例，了解数据根据模式发生的可能性，包括任何周围数据的上下文。

例如，给定一封典型的以“展望未来……”片段结尾的电子邮件，LLM可能会用“……回复”来完成它——遵循它所接受过的无数电子邮件的模式。这并不意味着是LLM在期待什么。

“目前的LLM培训框架涉及隐藏或‘屏蔽’之前的上下文单词”，并让模型预测哪些单词应该替换隐藏的单词，伦敦玛丽女王大学的研究人员塞巴斯蒂安·伯恩斯（Sebastian Berns）博士在电子邮件采访中告诉 TechCrunch。“这在概念上类似于在 iOS 中使用预测文本并持续按下建议的下一个单词之一。”

这种基于概率的方法在大多数情况下在规模上效果非常好。 但是，虽然单词的范围及其概率可能会产生有意义的文本，但这还远不确定。

例如，LLMs可以生成语法正确但无意义的内容，例如有关金门大桥的说法。 或者他们可能会散布谎言，传播训练数据中的不准确之处。 或者他们可以混淆不同的信息来源，包括虚构的来源，即使这些来源明显相互矛盾。

对于LLMs来说，这并不是恶意的。 他们没有恶意，真假的概念对他们来说毫无意义。 他们只是学会了将某些单词或短语与某些概念联系起来，即使这些联系并不准确。

“‘幻觉’与LLMs无法估计其自身预测的不确定性有关，”伯恩斯说。“LLMs通常经过训练，始终能够产生输出，即使输入与训练数据有很大不同。 标准的LLMs无法知道它是否能够可靠地回答查询或做出预测。”

解决幻觉

问题是，幻觉能解决吗？ 这取决于你所说的“解决”是什么意思。

Vu Ha 是艾伦人工智能研究所的应用研究员和工程师，他断言LLMs“确实并且永远会产生幻觉”。但他也相信有具体的方法可以减少——尽管不能消除——幻觉，这取决于LLMs的培训和部署方式。

“考虑一个问答系统，” Ha通过电子邮件说。“通过策划高质量的问题和答案知识库，并将该知识库与LLMs连接起来，通过类似检索的过程提供准确的答案，可以将其设计得具有高精度。”

Ha 说明了具有“高质量”知识库可供利用的LLMs与数据管理不那么仔细的LLMs之间的区别。 他提出了“Toolformer 论文的作者是谁？”的问题。（Toolformer 是由 Meta 训练的人工智能模型）通过 Microsoft 的 LLM 支持的 Bing Chat 和 Google 的 Bard。Bing Chat 正确列出了所有八位 Meta 合著者，而Bard则错误地将这篇论文归属于 Google 和 Hugging Face 的研究人员。

“任何部署的基于LLMs的系统都会产生幻觉。 真正的问题是好处是否超过幻觉造成的负面结果，”Ha说。换句话说，如果模型没有造成明显的损害——比如模型偶尔会弄错日期或名字——但它在其他方面是有帮助的，那么这种权衡可能是值得的。“这是一个最大化人工智能预期效用的问题，”他补充道。

伯恩斯指出了另一种在减少LLMs的幻觉方面取得了一定成功的技术：人类反馈强化学习（RLHF）。RLHF 由 OpenAI 于 2017 年推出，涉及训练LLMs，然后收集额外信息来训练“奖励”模型，并通过强化学习使用奖励模型对LLMs进行微调。

在 RLHF 中，来自预定义数据集的一组提示通过 LLM 传递以生成新文本。然后，人工注释者根据总体“有用性”（用于训练奖励模型的数据）对LLMs的输出进行排名。 奖励模型此时可以接受任何文本并为其分配人类感知程度的分数，然后用于微调LLMs生成的响应。

OpenAI 利用 RLHF 训练其多个模型，包括 GPT-4。但伯恩斯警告说，即使 RLHF 也不是完美的。

“我认为可能性的空间太大，无法将LLMs与 RLHF 完全‘对齐’，”伯恩斯说。“在 RLHF 设置中经常做的事情是训练一个模型来生成一个‘我不知道’的答案（对一个棘手的问题），主要依赖于人类领域知识，并希望模型将其概括为自己的领域知识。通常是这样，但可能有点挑剔。”另类哲学

假设幻觉无法解决，至少对于今天的LLMs来说是这样，这是一件坏事吗？ 事实上，伯恩斯并不这么认为。 他认为，幻觉模型可以通过充当“共同创意伙伴”来激发创造力——提供的输出可能并不完全真实，但仍然包含一些有用的线索。幻觉的创造性运用可以产生大多数人可能不会想到的结果或想法组合。

他说：“在一个人依赖LLMs成为专家的情况下,如果生成的陈述实际上不正确或违反任何一般人类、社会或特定文化价值观，那么‘幻觉’就是一个问题。” “但在创意或艺术任务中，获得意想不到的成果的能力可能很有价值。人类接收者可能会对查询的答复感到惊讶，因此被推向某个特定的思维方向，这可能会导致想法之间的新颖联系。”

Ha 认为，当今的LLMs受到了不合理的标准——毕竟，当我们记错或歪曲事实时，人类也会产生“幻觉”。但对于LLMs，他认为我们会经历认知失调，因为模型产生的输出表面上看起来不错，但在进一步检查时却包含错误。

“简单地说，LLMs，就像任何人工智能技术一样，都是不完美的，因此会犯错误，”他说。“传统上，我们对人工智能系统犯错误并不介意，因为我们期待并接受不完美。但当LLMs犯错误时，情况会更加微妙。”

事实上，答案很可能不在于生成式人工智能模型在技术层面上的工作方式。 就目前幻觉有“解决方案”而言，以怀疑的眼光对待模型的预测似乎是最好的方法。

原文引自：Kyle Wiggers