Question

Как считается градиентный спуск

Answer 1

Есть у вас функция, минимум которой вы ищите.
1) Садимся в некоторую начальную точку.
2. 1) Ищем градиент.
2. 2) Шагаем против него на некоторый шаг.
2. 3. a) Если значение функции уменьшилось, шаг принимается, переходим в эту точку и можно даже немного увеличить шаг.
2. 3. b) Если значение функции не уменьшилось, шаг отменяется. Остаемся в исходной точке, и уменьшаем шаг.
Зацикливаете весь пункт (2) и повторяете его до тех пор, пока не окажетесь достаточно близко от минимума.