大语言模型是怎么工作的:从 Token 到 Transformer

2026-11-17 · 原理
大语言模型是怎么工作的

每当有人问「ChatGPT 到底是怎么回答问题的」,最准确的一句话回答是:它在反复预测下一个最可能的词。听起来简单到不像智能,但正是这件简单事做到极致之后,涌现出了推理、翻译、写代码的能力。这篇文章把中间的环节一节节拆开。

第一步:把文字切成 Token

模型不直接读文字,而是读 Token——文本被切成的最小单位。一个 Token 大约对应英文的 3/4 个单词,或一个多一点的汉字。整句话先被编码成一串数字编号,模型处理的全程都是数字。上下文窗口(比如 128K、200K)限制的正是这串数字的长度。

第二步:每个 Token 变成一个向量

每个 Token 会被映射成一个几千维的向量(Embedding)。训练的结果是:语义相近的词,向量也相近。「国王 − 男人 + 女人 ≈ 女王」这个经典例子,说的就是向量空间里藏着语义关系。模型对语言的「理解」,很大程度上就储存在这些向量和后续的变换里。

第三步:注意力机制——上下文的来源

Transformer 的核心是注意力(Attention):处理每个词时,模型会回头看前面所有词,并给每个词分配不同的权重。它读到「它」的时候,能根据权重判断「它」指的是前文的猫还是桌子。正是注意力机制让模型能处理长距离的指代、伏笔和逻辑关系。层数越深、头数越多,它能捕捉的关系越复杂。

第四步:预训练——用全互联网的文本做填空题

预训练的任务只有一个:给前文,猜下一个 Token,猜错了就调整参数。数据是书籍、网页、代码,量级是万亿 Token。没有人教它语法、事实或推理,但为了把「下一个词」猜得准,它被迫把这些都学进了参数里。这就是为什么大模型的知识边界 ≈ 训练数据的边界,训练截止之后的事它只能靠工具和检索。

第五步:对齐——从「会说话」到「好好说话」

刚预训练完的模型只是个续写机器。指令微调让它学会听指令,人类反馈强化学习(RLHF)让它学会什么样的回答更有用、更安全。你感受到的「这个模型很懂事」,大多来自这一层,而不是参数量本身。

推理时发生了什么

你发一句话,模型把整段对话编码、逐层计算,给出下一个 Token 的概率分布,再按温度(Temperature)采样选一个,拼回去,重复——直到生成结束标记。温度低则保守稳定,高则发散有创意。所谓「幻觉」,本质是这个机制的副产品:它要的是「像样的下一个词」,不是「真实的下一个词」,两者大多数时候重合,偶尔分叉。

理解这条主线,很多现象就都有了答案:为什么它擅长模式内的一切、为什么长上下文会「记性变差」、为什么提示词写得越具体效果越好。下一篇我们专门聊提示词。

← 返回首页