Вектор полезен относительно задачи
Skip-gram связывает центральное слово с соседями. У каждой единицы есть входной вектор e_c и выходной u_j. В нашей маленькой версии вероятность context token определяется полным softmax по шести кандидатам:
В L04 обсуждаются также negative sampling и другие ускорения; здесь их нет. Dataset состоит из четырёх коротких предложений, окно1симметрично, всего12направленных пар. Вычисляется средняя CE по всем парам и настоящий full-batch GD для E и U. Это36параметров, а не скачанные Word2Vec weights.
Поскольку ∂L/∂z_j=p_j−1[j=t], получаем ∂L/∂e_c=Σ_j(p_j−1[j=t])u_j и ∂L/∂u_j=(p_j−1[j=t])e_c. Обе группы gradients вычисляются из старых таблиц перед совместным update.
Для e=[1,0],U=[[1,0],[0,1]],target1 scores[1,0]. p₀≈.731059, p₁≈.268941, loss≈1.313262, gradient поe=[p₀,−p₀].
Исследовать. Пройдите один update, сравните обе таблицы и loss. Затем увеличьте бюджет. Уменьшение training CE не доказывает полноценного понимания русского языка: корпус мал и неоднозначен. Геометрия определяется задачей, данными и инициализацией.