解剖大型语言模型：剥开人工智能的“黑盒”

大语言模型，参数动辄千亿，很少有人知道，它本质上是一个庞大的数学函数。当你输入一个未完成的句子时，模型内部在进行一场从自然语言到概率分布的精密运算。这场运算只有一个目的：算出下一个最有可能出现的词汇。

从文字到张量的第一道关卡

语言模型处理文本时的首要步骤，是把人类语言转变为机器能够进行计算的数学张量，每个词汇或者子词单元，也就是Token，都会于词嵌入表中去寻觅对应的向量表示，此向量一般含有数百乃至数千个维度，以Llama模型作为例子，它预留了超出128,000个词表空间，其中有大量空白Token位，便于开发者往后自定义插入新词汇。

此时，这些初始向量仅仅代表词汇本身拥有的静态含义而已，尚未将任何上下文信息融入进来。紧接着，模型一定要凭借后续的网络层，把这些处于孤立状态的向量转变成蕴含着丰富语境信息的“上下文嵌入”。然后，这一转化过程身为整个流水线的核心部分，对模型能不能准确理解一词多义这类复杂语言现象起着决定性作用。

层层递进的语境化改造

神经网络的每一层，都会综合上下文给出的信息，针对输入向量开展复杂的线性以及非线性变换。在模型处理“苹果公司发布新手机”这个句子，以及处理“吃一个苹果”这个句子时，“苹果”这个词的向量，在初始阶段是完全一样的。然而，随着向量朝着下层进行传递，模型会依据周围的词汇，对向量作出修正。

研究人员借助计算不同语境里“Apple”于各层的余弦相似度得以发现，在网络的前几层当中，两种语境之下的向量依旧比较相似，然而到了深层阶段的时候，相似度就会急剧地下降。这表明模型已经在数学层面精准地区分开了“科技公司”跟“水果”这两种语义，而且这种区分是完全经由数值运算达成的。

决定词汇命运的LM Head

网络层处理皆完成后，模型末了要借由LM Head把隐藏表征映射回归词汇表的空间之中。引人注目的是，于诸多主流模型架构里，这个LM Head矩阵常常跟初始的词嵌入表共用同一组参数呢。这般的参数共享设计不但削减了模型参数量，还于数学层面展现出了得巧妙对称性呀。

其相乘之后的结果，会输出一个跟词汇表大小一样的向量，里边每一个数值，代表着对应Token作为下一个词时的原始得分，也就是Logits。而这些得分是可为任意实数的，正数意味着那个词汇被选中的倾向更强烈，负数则意味着倾向比较弱。随后，这个Logits向量会进入Softmax函数去进行归一化处理。

温度参数与采样机制的艺术

Softmax的本质，是把无界限的Logits，转变为方便机器开展“掷骰子”采样的数值呈现形式。经过Softmax处理后，数值处于0到1之间，并且总和为1，然而研究者表明，没必要将其当作绝对严谨的“真实概率”。只要能够方便模型进行有偏向的随机抽取，甚至可以把Softmax替换成别的归一化方法，模型依旧能够正常运作。

用于控制输出多样性的关键旋钮乃是温度参数，温度参数越高，经Softmax处理后的概率分布便越平缓，模型于采样之际就越易于输出罕见或者极具创意的词汇，与之相反，低温能够令模型趋向于选取概率最高的词汇，从而使输出更为确定与保守，正是此参数，可让同一个模型既能够撰写出严谨的技术文档，又能够生成富有想象力的诗歌。

中间层向量的读心术实验

由模型中间层所产生的，数量庞大到难以计数的特征向量，其所具备的意义绝超出了仅作为枯燥乏味的计算过程中的中间产物这一范畴，实际上，它们之中蕴含着丰富程度达到极致的语义以及逻辑结构。在学术界开展的相关研究里，已经明确显示出这样一项成果，即要是能够寻找到恰当适宜的二维平面来实施投影操作，那么模型中间层的隐藏表征便能够如完美无瑕般地重构出句子的语法解析树。而这一情况所蕴含的意义也就是，模型在数学空间的内部已然凭借自身能力自动学会了句法结构。

Logit Lens技术更为前沿，要是把每一层的中间表征都预先经由LM Head进行解码，便能够观察到模型在不同深度的“心理活动”，比如说在要求模型把法文“fleur”翻译为中文“花”的时候，Logit Lens揭示了一个让人吃惊的过程，在模型的前半部分网络里，它始终输出无意义的符号，直至某一层才忽然把概率集中到正确的“花”字上。

注意力机制与知识记忆的底层支撑

支撑上述所有语义现象的那块基石，是Transformer架构里的两大核心组件 第一类是自注意力机制，另一个是前馈神经网络 为了判断当下词语应该聚焦上下文里的哪些词语而启动一种作业时，模型会把这个当前词语的查询向量，跟其他所有非单个的语词的键向量开展点积运算，进而得出那份注意力权重 跟随这些方才得出的权重，针对所有词语的值向量进行加权求和，以此生成融合上下文特征的全新向量。

在学术界前沿视角里，前馈网络借助简单矩阵乘法及激活函数，对注意力融合后的信息施行进一步非线性转换。当中，前馈网络被视作一种特定键值记忆机制，其职责是把注意力机制提取出的上下文模式，映射至模型预训练阶段所积累的庞大知识库内。另外，残差连接保障模型于复杂注意力计算时不会“忘却”最初词汇自身，使得信息能在网络里顺畅流通。

你可曾思索过，倘若在将来，我们能够将语言模型于每一层的“心理活动”进行实时可视化呈现，那么人类跟AI之间的沟通阻碍会不会绝对消除不见呢，欢迎于评论区去分享你的观点看法。

相关标签： # 自然语言处理 # 大型语言模型 # 深度学习 # 表征学习 # 注意力机制