大模型到底是怎么"想"的

核心机制：它就是一台"超级输入法"

抛开所有玄乎的说法，大语言模型做的事情只有一件：看着前面的文字，预测下一个最可能出现的是什么。

是不是听着太简单了？但你手机上那个输入法就是干这个的——你打"今天天气真"，它跳出来"好"。大模型是同一件事的超级加强版：它读过的文本多到天文数字级别，所以它预测出来的不只是"好"，而是一整段有条理、有逻辑、还挺有文采的话。

关键在于：当"预测下一个词"这件事被做到极致，能力就自己涌现出来了。 要能准确预测"这段代码后面该写什么"，它必须真的理解编程；要能预测"这个问题的答案是什么"，它必须真的掌握知识。这就是为什么它看起来像在思考。

Token：AI 世界里的"字数"

模型不认字，它把文字切成一个个小片段，每个片段叫一个 token（词元）。这是理解 AI 计费和限制的关键。

• 英文大致上 4 个字符 ≈ 1 个 token（"apple" 可能是 1 个，"unbelievable" 可能是 3 个）。
• 中文大致上 1 个汉字 ≈ 1 个 token 上下，具体看分词器，有时更省。
• 标点、空格、换行、代码符号也都要算。一段代码里的缩进和括号，都是要付费的。

为什么要关心这个？因为几乎所有 AI 服务的计价和长度限制，都是按 token 算的：按量付费的服务，你输入的算一遍钱、它输出的算一遍钱；"上下文窗口 20 万"这类说法，指的就是 token 数量。

训练的三个阶段：从"读书"到"懂事"

三个阶段的意义：知识主要来自预训练，听话来自微调，分寸来自对齐。 这也是为什么模型换代时，通常不是"多读了几本书"，而是后两个阶段做得更好了。

上下文窗口：它真正的"工作记忆"

模型本身没有记忆。它读完你这一整段对话（包括历史消息、读过的文件）后，一次性全部拿来"看着"生成下一句。这个"一次能看多少"就是上下文窗口。

两个常见误解需要澄清：

• "它会记住我"——不是的。多轮对话能连贯，是因为每一轮都把前面的内容重新喂了一遍。窗口一满，最早的内容就被挤出去了，它就"忘了"。
• "聊得越久它懂得越多"——不一定。太长之后，它反而会被无关内容干扰。该收尾就收尾，该总结就总结，是更高效的做法。

所以：重要信息写进文件（项目说明书），比反复在对话里叮嘱它更可靠——文件每次都会被重新读进来。

"思考"这件事：为什么有的模型会先想再答

聪明一点的做法是：不要急着输出答案，先在"草稿纸上"算一算，再给最终答案。这叫推理（reasoning）。你在界面上看到的"思考中……"和能看到"思维过程"的开关，都是在做这件事。

为什么有用？回到那个输入法的比喻——如果它必须先写下推理步骤，那么写答案时它能"看到"自己刚才的推导，正确率就上来了。数学题、逻辑题、复杂代码，全靠这一步。

代价是：慢，而且更贵（推理过程也是要算 token 的）。所以不是越"想"越好，简单任务让它直接答就行。第 22 章给了选择建议。