AI / Искусственный интеллект

Область методов и систем для распознавания, планирования, поиска решений и других интеллектуальных задач. Не синоним нейросети.

ML / Машинное обучение

Методы формирования поведения по данным и опыту относительно задачи и критерия качества.

DL / Глубокое обучение

Подход ML с композициями обучаемых преобразований и многоуровневыми представлениями.

Модель / Model

В этой главе: параметризованное преобразование входа в выход. Архитектура и значения параметров различаются.

Параметры / Weights

Числа, задающие выбранную функцию модели; могут быть обучены либо назначены вручную. Не текущие активации.

Dataset

Набор примеров для обучения или оценки. Не база, которую каждый forward обязан перечитывать.

Активация / Activation

Промежуточный численный результат конкретного вычисления при текущем входе.

Training

В рассматриваемой процедуре: вычисление loss и градиента с последующим обновлением параметров.

Inference

Здесь: применение модели с фиксированными параметрами. Не путать с вероятностным выводом в других контекстах.

Токен / Token

Дискретная единица кодирования текста. Может быть словом, частью слова, символом или байтом в зависимости от tokenizer.

Embedding

Векторное представление; embedding lookup выбирает строку таблицы по ID. Координаты не обязаны иметь человеческие названия.

Attention

Вычисление коэффициентов по query/key и смешивание values. Коэффициенты зависят от входа и не тождественны параметрам проекций.

Logits

Ненормированные вещественные оценки кандидатов. Не вероятности.

Softmax

Преобразование оценок z в распределение: exp(z_j), делённое на сумму экспонент. Вычитание общего максимума улучшает устойчивость.

Контекст / Context

Данные, переданные для текущего вызова модели: запрос, инструкции, выбранная история и внешние сведения.

RAG

Генерация с использованием извлечённых внешних сведений. Поиск при запросе сам по себе не обновляет веса generator.

Память приложения

Внешние записи, сохраняемые между вызовами. Влияют на модель, когда приложение использует их при сборке входа.

Tool

Внешний исполнитель ограниченной операции. Право и аргументы проверяются runtime, а не текстом документа.

Skill

В рамках курса: пакет инструкций/описаний рабочего процесса. Термин не означает автоматическое изменение весов или прав.

Agent runtime

Программа, управляющая циклом вызовов модели, инструментов и наблюдений с ограничениями и условиями остановки.

Вектор

Элемент векторного пространства. После выбора базиса записывается упорядоченными координатами.

Базис

Линейно независимый порождающий набор пространства. Координаты зависят от базиса.

Норма

Неотрицательная длина с однородностью и неравенством треугольника; ноль только на нулевом векторе.

Скалярное произведение

Сумма попарных произведений координат; скалярный результат.

Cosine similarity

Dot, делённый на произведение евклидовых норм ненулевых аргументов.

Ортогональная проекция

Ближайший вектор выбранного подпространства в евклидовой метрике; остаток ортогонален ему.

Ранг

Размерность образа линейного преобразования; численный ранг зависит от допуска.

SVD

Разложение A=UΣVᵀ на ортогональные базисы и неотрицательные сингулярные масштабы.

Градиент

Вектор частных производных скалярной функции; локальный рост относительно выбранных координат/метрики.

Jacobian

Матрица J_ij=∂f_i/∂x_j; в курсе shape[выход,вход].

Hessian

Матрица вторых производных скалярной функции, описывающая локальную кривизну.

Likelihood

Вероятность/плотность фиксированных данных как функция параметров; не posterior без prior.

Энтропия

Среднее −log p по распределениюp; наты дляln и биты дляlog₂.

Cross-entropy

Среднее −log q по целевомуp. CE(p,q)=H(p)+KL(p||q).

KL divergence

Среднее log(p/q) поp; несимметрична, не метрика.

Perplexity

Экспонента средней token log-loss внатах, либо2встепени log-loss вбитах.

Adam

Адаптивный optimizer с EMA первого/второго момента и коррекцией начального смещения.

Generalization

Качество на новых данных, отличное от минимизации ошибки уже использованного training set.

Precision

TP/(TP+FP): доля истинных positives среди предсказанных positives; при нулевом знаменателе требует convention.

Recall

TP/(TP+FN): доля найденных positives среди реальных positives.

Centroid K-means

Арифметическое среднее точек назначенного непустого кластера при squared Euclidean objective.

PCA

Ортогональные направления максимальной дисперсии центрированных данных; не supervised важность для target.

Функция активации

Преобразование preactivation, часто нелинейное и поэлементное. Не путать с конкретным значением activation.

MLP

Композиция плотных affine layers и hidden activations с отдельным output layer.

LayerNorm

Нормирование по координатам выбранного представления одного примера, обычно с последующим обучаемым affine преобразованием.

Residual path

Сложение x+F(x) с совпадающими shapes; создаёт прямой путь, но не гарантирует ненулевой общий gradient.

Automatic differentiation

Вычисление derivatives программы через локальные правила и chain rule; не finite differences и не optimizer update.

Топологический порядок

Порядок узлов DAG, в котором каждый parent предшествует своим зависимым узлам.

Floating point

Представление через знак, exponent и significand с конечной точностью и специальными кодировками.

Subnormal

Число с минимальным encoded exponent и без скрытой единицы; обеспечивает постепенный underflow в поддерживающем его режиме.

FMA

Умножение со сложением с одним финальным округлением; обычно считается двумя FLOPs.

Arithmetic intensity

Отношение арифметических операций к байтам трафика в выбранной модели памяти.

Roofline

Оценка throughput как min(compute peak,bandwidth×intensity), не измерение программы.

KV-cache

Кеш keys/values ранее обработанных токенов при autoregressive inference; не параметры модели.

Aliasing

Неразличимость различных исходных частот/сигналов после выбранной дискретизации.

Свёртка

Линейная операция y[n]=Σh[j]x[n−j]; в sliding-window форме включает переворот ядра.

Cross-correlation

Вещественная скользящая сумма произведений без переворота ядра в принятой здесь window convention.

DFT

Дискретное преобразование Фурье; FFT является семейством быстрых алгоритмов его вычисления.

Receptive field

Область исходного входа, способная влиять на выбранный выходной элемент через вычислительный граф.

Byte-level BPE

Обучаемое объединение частых соседних byte-token pairs; конкретные normalization,pre-tokenization и ranks входят в контракт tokenizer.

Grapheme cluster

Группа Unicode code points, воспринимаемая как один знак; не обязательно token модели.

Skip-gram

Задача предсказания context tokens по центральному token с обучаемыми входными/выходными представлениями.

Contextual state

Activation позиции после обработки окружающей последовательности; не новая строка weights embedding.

Causal mask

Ограничение attention на текущую и предыдущие позиции, применяемое до softmax.

Multi-head attention

Независимые attention calculations в projection subspaces с concat и выходной проекцией.

RoPE

Позиционные вращения пар координат Q/K, вводящие относительную зависимость их скалярного произведения.

SwiGLU

FFN с покоординатным произведением SiLU-gate и up-projection, затем down-projection.

Pre-norm

Расположение normalization перед преобразованием residual-подслоя.

LM head

Проекция hidden state в logits vocabulary; сама по себе не выполняет sampling и не гарантирует истинность текста.

Pretraining

Оптимизация next-token objective на корпусе до task-specific adaptation; масштаб учебного fixture не равен промышленному pretraining.

Supervised fine-tuning

Настройка по размеченным prompt/response examples с явной serialization и loss mask.

Preference objective

Pairwise criterion по chosen/rejected outputs относительно заданных данных и reference contract.

LoRA

Low-rank trainable update к замороженной base matrix; rank и scale входят в контракт.

Prefill

Causal обработка всего prompt перед пошаговым decode и заполнение K/V state.

Decode

Итеративное получение следующего token при фиксированных weights и растущем runtime state.

Quantization

Кодирование чисел ограниченным набором integer codes и scales с измеримой reconstruction error.

Retrieval

Выбор внешних records по явной ranking function; не weight update и не гарантия истинности.

Provenance

Метаданные о происхождении значения, его producer и пути через систему.

All-reduce

Collective aggregation values между replicas; topology и payload должны быть названы отдельно.

Tensor parallelism

Разбиение tensor operation по устройствам с последующим concat или reduction.

Pipeline parallelism

Размещение последовательных layers по stages и проведение microbatches через schedule.

MoE routing

Выбор top-k experts для token с capacity и overflow policy.

Multimodal token

Строка representation vision/audio encoder после projection в decoder width.

Artifact manifest

Версионированный контракт tokenizer,architecture,shapes,seed,step и weight digest.

Fail closed

Отказ без действия и без stale success при неизвестном или недействительном состоянии.