Меньше битов — не одно и то же упрощение
FP16 имеет5exponent и10fraction bits, BF16 —8и7. BF16 сохраняет широкий exponent range, но возле1имеет более редкую сетку: шаг2^-7=.0078125 против2^-10=.0009765625 уFP16. Одинаковые16бит хранения не дают одинаковую точность. H02.
Округление nearest ties-to-even выбирает ближайшее представимое число, а при точной середине — вариант с чётным младшим битом. ДляFP16 значение1+2^-11 находится посередине между1и1+2^-10 и округляется к1. Значение1+3·2^-11 округляется к1+2·2^-10.
Минимальный положительный subnormal FP16 —2^-24, максимальное конечное —65504. Наш codec поддерживает gradual underflow. В H02 описаны конкретные TPU с flush-to-zero для BF16: это особенность исполнения, не поведение нашего абстрактного хранилища.
FP8 — семейство. Здесь реализован E5M2 с IEEE-like special values. E4M3 из H03 иначе расходует special encodings; нельзя просто сократить поля и объявить результат E4M3FN. Для INT8 в лаборатории явно выбран symmetric quantizer q=clamp(round(x/scale),−127,127), восстановление q·scale. Он не floating point и требует масштаба.
Исследовать. Сравните.1,1.0005,70000и очень малое значение. Разделите rounding error, underflow и overflow. Экономия байтов весов не означает, что accumulation тоже выполняется в том же формате: mixed precision часто сочетает низкую точность inputs с более точным аккумулятором.