alterna ai
ALTERNA AI / ГЛАВА 07 · 02

07.2 Граница между решениями

На предыдущей странице: один нейрон по шагам.

Поменяем веса и посмотрим, как сдвигается разделяющая линия. Нулевые веса могут убрать обычную границу целиком.

Он собирает вклады входов, добавляет смещение и применяет нелинейное правило. Все части этого расчёта уже доступны школьной арифметике.

Вес задаёт нормаль к границе

При классификации по знаку z граница определяется равенством wᵀx+b=0. Если w≠0, это гиперплоскость. Для двух её точек разность v удовлетворяет wᵀv=0: вектор w перпендикулярен всем направлениям внутри границы.

При w=[1,−1], b=.5 на плоскости получаем x₂=x₁+.5. Точка [1,2] лежит на отрицательной стороне, поскольку z=−.5. Число z не равно геометрическому расстоянию без нормирования:

d(x,H)=∣wTx+b∣∥w∥2,w≠0.d(x,\mathcal H)=\frac{|w^Tx+b|}{\|w\|_2},\qquad w\ne0.

Для выбранной точки расстояние .5/√2. Умножение w и b на одно положительное число сохраняет границу и пороговые классы, но масштабирует score. Поэтому sigmoid-вероятности при той же геометрической границе могут стать более выраженными.

Эксперимент. Поставьте w₂=0: граница вертикальна. Затем обнулите оба веса. Score станет постоянным: при b≠0 один класс будет выбран всюду; при b=0 все точки окажутся на пороге. Рисовать одну обычную разделяющую прямую в последнем случае нельзя.

Debug. Формула x₂=−(w₁x₁+b)/w₂ требует обработки нулевого знаменателя. Лаборатория строит границу через пересечения с рамкой и отдельно объясняет вырожденный случай. Нельзя считать, что точка «увереннее классифицирована» только потому, что на автоматически масштабированном рисунке она дальше от линии.

При b≠0 границы z=0 нет; при b=0 всё пространство на пороге.

Гладкая функция и насыщение. Как этот вопрос продолжает полученный результат?

Python-примеры главы 07 Академическая база →