‹ все анимации

~/ai $ ls concepts/

AI ENGINEERING

Как устроены языковые модели, по шагам: от текста до ответа. Каждая концепция — отдельная анимация.

МОДЕЛЬ · как она устроена

1. 01tokenizationтекст → токены → id → векторы, на живом BPE● готово
2. 02embeddingsskip-gram учится в браузере, слова сами собираются по смыслу● готово
3. 03attentionQ·K → маска → softmax → смесь V: «it» находит «cat»● готово
4. 04transformerнастоящая мини-модель генерирует текст в браузере● готово
5. 05mixture of expertsроутер отправляет токен к 2 из 4 экспертов, остальные спят● готово

ИНФЕРЕНС · как она быстро отвечает

1. 06kv cacheхранить K и V прошлых токенов вместо пересчёта● готово
2. 07speculative decodingмаленькая модель угадывает, большая проверяет пачкой● готово
3. 08continuous batchingзапросы входят и выходят из батча на каждом шаге● готово

ПОИСК И RAG · как дать ей знания

1. 09semantic chunkingрезать документ по смыслу, а не по символам● готово
2. 10bm25классический поиск по словам● готово
3. 11hybrid searchслова + векторы вместе● готово
4. 12query rewritingпереписать вопрос, чтобы найти лучше● готово
5. 13re-rankingпересортировать найденное точной моделью● готово
6. 14ragпоиск + генерация: ответ по документам● готово

АГЕНТЫ · как она действует

1. 15structured outputsответ строго по JSON-схеме, а не «примерно в формате»● готово
2. 16tool useмодель вызывает функции и API● готово
3. 17mcpModel Context Protocol: один стандарт подключения инструментов● готово
4. 18reactцикл агента: подумал → вызвал инструмент → посмотрел результат● готово

ПРОДАКШЕН · как она работает надёжно

1. 19model routingлёгкие запросы — дешёвой модели, сложные — сильной● готово
2. 20checkpointingсохранить состояние агента и продолжить после сбоя● готово
3. 21circuit breakingперестать стучаться в упавший сервис и переключиться● готово
4. 22distributed tracingодин запрос через все сервисы: где тормозит и где падает● готово

ОЦЕНКА И БЕЗОПАСНОСТЬ · как понять, что она работает

1. 23recall@kкакая доля нужных пунктов попала в первые k результатов● готово
2. 24llm-as-a-judgeодна модель оценивает ответы другой — и где она ошибается● готово
3. 25prompt injectionчужой текст в документе пытается командовать агентом● готово