TOKENIZATION · BYTE PAIR ENCODING
Модель не видит буквы и слова. Она видит номера токенов. BPE строит словарь кусков слов: берёт самую частую пару соседей и склеивает её в новый токен.
корпус
пары
слияние
кодирую
id
вектор
01 · корпус для обучения символы · _ = конец слова
02 · частые пары × частота
04 · новый текст → токены → id правила те же
›
05 · id → вектор (эмбеддинг) d = 8
Каждый id — номер строки в обучаемой таблице. В учебном примере строка из 8 чисел, в больших моделях из тысяч. Дальше в нейросеть уходят именно эти векторы.
~/ai $ bpe train --corpus words.txt --merges 10
словарь [11]
слияний [0]
символов [–]
токенов [–]