EMBEDDINGS · СМЫСЛ КАК КООРДИНАТЫ
Каждому токену соответствует строка чисел. Сначала числа случайные. Обучение двигает их так, чтобы слова, которые встречаются в похожем окружении, оказались рядом.
контекст
пары
обучение
соседи
векторы
01 · окно контекста ±2 предложение 1/–
Центральное слово учится предсказывать соседей в окне. Каждая пара (центр, сосед) — один обучающий пример.
02 · пространство эмбеддингов проекция 8D → 2D
животныеедатранспортместа
Цвет групп — подсказка для нас. Модели группы никто не сообщал: она видит только пары слов.
03 · ближайшие соседи cos в 8D
04 · что внутри: 8 чисел на слово обученные
Это та самая таблица эмбеддингов из шага токенизации, только теперь обученная. Близость считается по косинусу: 1 — смотрят в одну сторону, 0 — не связаны.
~/ai $ word2vec --mode skipgram --dim 8 --window 2 --neg 3
слов [–]
пар [0]
эпоха [0]
loss [–]