Последняя строка предсказывает следующий ID
После final norm каждая строка H соответствует обработанному префиксу. Линейная проекция даёт logits по vocabulary:
Для текущего продолжения используется последняя строка. Во время будущего обучения targets будут сдвинуты на один токен; нельзя сравнивать output позицииiссамим входнымt_iи называть это next-token training.
Отдельный ручной head: h=[1,−1],U=[[1,0,1],[0,1,1]],c0. Logits[1,−1,0], нормировка делит [e,1/e,1] на их сумму. Все три scores получены одной общей проекцией, не тремя заранее приготовленными ответами.
Эксперимент. В inspector доступны все logits и probabilities, не только top candidates. Порядок IDs согласован с конкретным BPE vocabulary. Один candidate может содержать неполную UTF-8 последовательность: тогда он показывается bytes/hex, а не выдуманным словом.
Наши seeded weights пока не обучены: высокие probabilities не подтверждают грамматику или истинность. Уже работают tokenizer, E, полный стек и head; следующая глава16 должна добавить корпус, targets, backward/optimizer, validation и checkpoints. Именно обучение позволит говорить о выученной маленькой языковой модели, а не только о правильной архитектуре.