Общее слово «токенизация» скрывает разные решения
Byte-level, character-level и word-level определяют начальные единицы; BPE определяет способ обучения/применения merges. WordPiece использует собственные правила словаря и сегментации, а SentencePiece — toolkit с несколькими моделями, не синоним одного алгоритма. L03 подтверждает работу с raw sentences, но готовые SentencePiece-модели здесь не загружаются.
Сравнительная лаборатория показывает UTF-8 bytes, Unicode code points, word-like regex chunks с сохранёнными пробелами и наш byte-BPE. Эти строки не называются результатом настоящего BERT/GPT tokenizer. Честное сравнение production tokenizers требует соответствующих словарей, normalization rules и версий.
Для a a byte/codepoint representations имеют3элемента. Разбиение по непустым словам без сохранения пробела дало бы2, но уже не позволяло бы восстановить точное форматирование. В нашем word-like baseline пробел тоже отдельный chunk.
Исследовать. Сравните одинаково выглядящие Unicode-записи и строки с несколькими пробелами. Какие различия исчезают при normalization, а какие сохраняются? Не переносите измеренное количество tokens одного алгоритма на другое context window.
Теперь IDs определены, но ещё не содержат геометрического представления. Следующий шаг — embedding lookup и обучение векторов.