这是一个奇特的事实 ，我们不了解大型语言模型（LLM）的实际工作方式。我们设计了它们 。我们建造了它们 。我们训练了他们。但是他们的内部运作在很大程度上是神秘的 。好吧 ，他们是 。现在，由于人类的一些新研究 ，这种研究灵感来自脑扫描技术 ，并有助于解释为什么聊天机器人幻觉并对数字糟糕。
问题在于，尽管我们了解如何设计和构建模型 ，但我们不知道所有的重量和参数如何 ，即训练过程产生的模型内部数据之间的关系，实际上导致了似乎是有能力的输出的 。
“打开一个大型语言模型 ，您所看到的只是数十亿个数字＆mdash;“参数 ” 。他指出：“这没有启发性。 ”
为了了解实际发生的事情 ，Anthropic的研究人员开发了一种新技术，称为电路跟踪，以跟踪大型语言模型内部的决策过程 。然后 ，他们将其应用于自己的Claude 3.5 Haiku LLM 。
拟人化表示 ，其方法的灵感来自神经科学中使用的脑扫描技术，并且可以识别模型在不同时间活跃的组件。换句话说 ，这有点像一个大脑扫描仪 ，在认知过程中发现了哪些部分大脑正在发射。
人类使用这种方法进行了许多有趣的发现，这尤其是LLM在基本数学上如此糟糕的原因 。要求克劳德（Claude）添加36和59 ，该模型将采取一系列奇怪的步骤 ，包括首先添加一系列近似值（添加40ish和60ish，添加57ish和36ish） 。在其过程结束时 ，它提出了92ish的值。与此同时 ，一系列步骤，另一个步骤集中在最后一个数字 ，6和9的答案中 ，并确定了92个答案 。麻省理工学院文章解释 。
但这是真的很时髦。如果您问克劳德（Claude）如何获得95的正确答案，显然会告诉您：“我添加了1（6+9 = 15），携带1 ，然后添加10s（3+5+1 = 9） ，导致95 。”但这实际上仅反映了其培训数据中有关总和如何完成的共同答案，而不是实际做的 。
换句话说 ，该模型不仅使用非常非常奇怪的方法来进行数学 ，而且您不能相信其对其刚刚做的事情的解释。这很重要，表明在为AI设计护栏时 ，不能依靠模型输出 。他们的内部运作也需要理解 。
这项研究的另一个非常令人惊讶的结果是 ，发现这些LLMS并不能仅仅通过预测下一个单词来运作。通过追踪克劳德（Claude）如何产生押韵对联，人类发现它首先选择了诗歌末尾的押韵词 ，然后填充在该行的其余部分中 。
巴特森说：“诗歌中的计划使我震惊了 。 ”“它没有在最后一刻试图使押韵变得有意义 ，而是知道它的去向。 ”
拟人化还发现，除其他外 ，克劳德“有时会在语言之间共享的概念空间中进行思考 ，这表明它具有一种通用的“思想语言”。 ”
任何人，这项研究显然还有很长的路要走 。根据拟人化的说法，“目前 ，即使在只有数十句话的提示上 ，也需要花费几个小时的人力来了解我们看到的电路 。 ”研究并不能说明LLM内部的结构首先是如何形成的。
但是，它至少阐明了这些奇怪的神秘的人的众生＆mdash;我们已经创建但不理解“实际上是在起作用 。那一定是一件好事 。
本文来自作者[零槐]投稿，不代表乐悠悠立场，如若转载，请注明出处：https://wap.edecn.cn/news/145.html
评论列表（3条）
我是乐悠悠的签约作者“零槐”
本文概览： 这是一个奇特的事实，我们不了解大型语言模型（LLM）的实际工作方式。我们设计了它们。我们建造了它们。我们训练了他们。但是他们的内部运作在很大程度上是神秘的。好吧，他们是。现...
文章不错《拟人化已经开发了一个AI“脑扫描仪”来了解LLM的工作原理，事实证明，聊天机器人在简单的数学和幻觉上糟透了的原因比您想象的奇怪》内容很有帮助