Méthodes à directions de descente
Les méthodes à directions de descente sont des méthodes pour donner une valeur approchée du minimum d'une fonction $f:\mathbb R^n\to \mathbb R$. Elles sont définies en construisant par récurrence une suite $(x_k)$ avec $x_0\in\mathbb R^n$ et $$x_{k+1}=x_k+\alpha_k d_k$$ où $\alpha_k$ est un réel positif ou nul, appelé pas de la descente et $d_k$ est un vecteur de $\mathbb R^n$, appelé direction de la descente en $x_k$. On choisit une direction de descente $d_k$ à chaque étape de sorte que $$f(x_k+\alpha d_k)\leq f(x_k)$$ pour tout $\alpha$ assez petit, et un pas $\alpha_k$ de sorte que $f(x_k+\alpha_k d_k)$ soit suffisamment petit par rapport à $f(x_k)$. Les choix précis de $d_k$ et $\alpha_k$ conduisent à toute une série de méthodes particulières : méthode du gradient optimal, du gradient conjugué, méthode de relaxation....