Méthode du gradient à pas constant
\[ \overbrace{\boxed {\begin{array}{l}n=0\\ \beta ^0=0 \end{array}}}^{(1)}\rightarrow \overbrace{\boxed {G^ n=\frac{\partial J^\varepsilon (\beta ^ n)}{\partial \beta }}}^{(2)}\rightarrow \overbrace{\boxed {\begin{array}{l} \beta ^{n+1}=\beta ^ n-\varrho G^\varepsilon (\beta ^ n)\\ \hbox{if } \vert \vert G^\varepsilon \vert \vert _2{<}\upsilon ? stop\\ \hbox{else n=n+1 go to (2)}\end{array}}}^{(3)} \]
Remarque Choix d’un pas optimal (voir aussi dans la bibliographie) :
Le choix du pas constant $\varrho $ ralenti la convergence de l’algorithme. On peut améliorer ce choix en constatant que :\[ {J^\varepsilon (\beta ^ n-\mu G^\varepsilon (\beta ^ n))=J^\varepsilon (\beta ^ n)-2\mu \vert \vert G^\varepsilon (\beta ^ n)\vert \vert _2^2+\mu ^2H^\varepsilon (\beta ^ n),} \] où $H^\varepsilon (G^ n)$ est calculé (par exemple) en choisissant une valeur particulière de $\mu $ puis en choisissant: $\varrho ^ n=\vert \vert G^\varepsilon (\beta ^ n)\vert \vert _2^2/H^\varepsilon (\beta ^ n)$.