TRANSFORMER · ТОКЕН ЗА ТОКЕНОМ
Модель не пишет предложение целиком. Она прогоняет текст через блоки, получает вероятности следующего токена, выбирает один, дописывает его и повторяет всё заново.
01 · генерация prompt → модель
02 · прямой проход вектор последнего токена · d = 32
входконтекст
эмбеддинг + позицияtok[id] + pos[t]
СЛОЙ 1
attention · 2 головысмотрит на…
MLP 32→128→32+ residual
СЛОЙ 2
attention · 2 головысмотрит на…
MLP 32→128→32+ residual
LayerNorm → logitsоценка для 34 слов
Каждая полоска — 32 числа «остаточного потока» последнего токена после этапа. Attention подмешивает информацию от других слов, MLP обрабатывает её, а residual просто складывает всё в один вектор.
03 · следующий токен softmax · выбор по вероятности
Модель настоящая: я обучил её заранее (Python, JAX) на 42 простых предложениях из миров «животные, еда, транспорт, места». В странице лежат все её 27 810 весов, и каждый токен считается прямым проходом прямо в браузере (сверено с Python, расхождение меньше 10⁻⁵). Мир у неё крошечный: 33 слова и пара шаблонов. Большие модели устроены так же, только слоёв десятки, а параметров миллиарды.
~/ai $ model.generate(prompt)
параметров [–]
слоёв [2]
голов [2]
шаг [0]