В чем суть метода градиентного спуска? Методы оптимизации. Методы оптимизации

Answer 1

Смысл простой: хотим найти точку минимума, представим, что функция - это высота земной поверхности. Из точки, где мы стоим ищем направление, куда спус идет быстре всего - например, куда потекла бы вода в этой точке. Это направление - аккурат (-градиент) . Ну и идем прямо по этому направлению, пока не найдем самую низкую точку на этом пути. Встаем и повторяем все сначала - ищем направление спуска, снова идем по нему.
 
Хороший метод. Ну если не считать такой мелочи, что он абсолютно не работает в реальности. В любой реальной задаче он через несколько шагов останавливается, так и не дойдя до минимума.