在我们看来，一句话是完整的、有语气的、有意义的。

但在 AI 眼中，文本并不是一整句话，而是会先被拆分成一个个更小的语言单位，也就是 token。

这些 token 可能是一个词，也可能是词的一部分，甚至可能只是一个标点。

也就是说，AI 并不是一开始就“读懂”了整句话，而是先把语言切成它能够处理的形式。