Метод Гаусса-Зайделя

Метод сводится к поиску экстремума поочередно по каждой переменной отдельно. Алгоритм выражается формулой: xj+1= xj+f(R (xj)).

Пусть имеется некоторая начальная точка x0 и R(x1,x2). Сначала будем искать по первой переменной x1, при этом фиксируя значение остальных переменных и начинаем менять x1. Смотрим результат. Найденную точку с наилучшим значением по первой переменной фиксируем и начинаем менять вторую переменную x2. Найденная наилучшая точка x1 завершает первый цикл. Последовательный поиск экстремума по каждой переменной не приводит нас в общем случае, к экстремуму функции, поэтому после завершения первого цикла наступает второй, третий и т. д. Точность нахождения экстремума зависит от величины шага по переменной. Его выбирают так, чтобы:

- уверенно почувствовать изменение функции при наличии помех;

общее число экстремумов не слишком большое;

далеко не проскакивать оптимум по направлению.

Основная особенность рассматриваемого метода - отсутствие вычисления градиента критерия оптимальности. Ряд методов прямого поиска базируется на последовательном применении одномерного поиска по переменным или по другим задаваемым направлениям, что облегчает их алгоритмизацию и применение.

Метод обладает низкой эффективностью в овражных функциях, может застревать в «ловушках», особенно при сравнительно больших шагах h при поиске оптимума по каждой переменной, очень чувствителен и к выбору системы координат. Метод прост в реализации. На эффективность метода влияет порядок чередования переменных.

Достоинства метода:

• очевидная простота стратегии и наглядность;

• высокая помехозащищенность в смысле выбора направления движения.

Недостатки метода:

• при большом числе влияющих n факторов путь к главному экстремуму оказывается обычно долгим;

• в условиях крупного промышленного производства оказывается трудным застабилизировать n-1 факторов на длительное время;

• если поверхность отклика имеет сложную форму (узкие гребни, овраги и т.п.), то использование метода может привести к ложному ответу на вопрос о месте расположения экстремума;

• метод не дает информации о взаимодействиях факторов.

Условием окончания поиска является малость изменения критерия оптимальности за один цикл или невозможность улучшения критерия оптимальности ни по одной из переменных.