12.4 Équation normale

Soient $\mathbf{A}\in \mathbb{R}^{m\times n}$ et $\mathbf{b}\in \mathbb{R}^m$. On obtient une solution des moindres carré de $\mathbf{A}\mathbf{x} = \mathbf{b}$ en trouvant $\hat{\mathbf{x}} \in \mathbb{R}^n$ tel que $\mathbf{b} = \mathbf{A}\hat{\mathbf{x}} + \mathbf{d}$ pour un vecteur $\mathbf{d} \in {\operatorname{Col}({\mathbf{A}})}^\perp$.

Ainsi, il est nécessaire que $\hat{\mathbf{x}} \in \mathbb{R}^n$ satisfasse à $$\mathbf{A}^\mathsf{T}\mathbf{b} = \mathbf{A}^\mathsf{T}(\mathbf{A}\hat{\mathbf{x}} + \mathbf{d}) = \mathbf{A}^\mathsf{T}\mathbf{A}\hat{\mathbf{x}} + \mathbf{A}^\mathsf{T}\mathbf{d}.$$ Puisque $\mathbf{d} \in {\operatorname{Col}({\mathbf{A}})}^\perp$, $\mathbf{A}^\mathsf{T}\mathbf{d} = \mathbf{0},$ d’où $$\mathbf{A}^\mathsf{T}\mathbf{b} = \mathbf{A}^\mathsf{T}\mathbf{A}\hat{\mathbf{x}}.$$

Autrement dit, $\hat{\mathbf{x}}$ doit être une solution de $$\mathbf{A}^\mathsf{T}\mathbf{A}\hat{\mathbf{x}} = \mathbf{A}^\mathsf{T}\mathbf{b},$$ que l’on nomme l’équation normale associée à $\mathbf{A}\mathbf{x} = \mathbf{b}.$

On montre maintenant que chaque solution de l’équation normale est une solution des moindres carrés de $\mathbf{A}\mathbf{x} = \mathbf{b}$.

Si $\hat{\mathbf{x}}$ satisfait à $$\mathbf{A}^\mathsf{T}\mathbf{A}\hat{\mathbf{x}} = \mathbf{A}^\mathsf{T}\mathbf{b},$$ alors $\mathbf{A}^\mathsf{T}(\mathbf{b}-\mathbf{A}\hat{\mathbf{x}}) = \mathbf{0},$ ce qui implique que $\mathbf{b}-\mathbf{A}\hat{\mathbf{x}} \in {\operatorname{Col}({\mathbf{A}^\mathsf{T}})}.$ Posons $\mathbf{d} = \mathbf{b}-\mathbf{A}\hat{\mathbf{x}}$. Alors $\mathbf{b} = \mathbf{u} + \mathbf{d}$, où $\mathbf{u} = \mathbf{A}\hat{\mathbf{x}}$. Nous avons vu précédemment que le choix $\mathbf{x} = \hat{\mathbf{x}}$ minimise la distance $\| \mathbf{A} \mathbf{x} -\mathbf{b} \|$. Ainsi, $\hat{\mathbf{x}}$ est une solution des moindres carrés.

En résumé, on obtient une solution des moindres carrés de $\mathbf{A}\mathbf{x} = \mathbf{b}$ en trouvant une solution de $$\mathbf{A}^\mathsf{T}\mathbf{A}\hat{\mathbf{x}} = \mathbf{A}^\mathsf{T}\mathbf{b}.$$

Si $\mathbf{A}$ est de plein rang, alors $\mathbf{A}^\mathsf{T}\mathbf{A}$ est inversible. Dans ce cas, la solution des moindres carrés unique est donnée par $$\hat{\mathbf{x}} = (\mathbf{A}^\mathsf{T}\mathbf{A})^{-1}\mathbf{A}^\mathsf{T}\mathbf{b}.$$

Exemple 12.4 Trouvons une solution des moindres carrés de $\mathbf{A}\mathbf{x} = \mathbf{b}$, où $\mathbf{A} = \begin{bmatrix} 1 & 2 \\ 0 & -1 \\ 1 & 1 \\ -2 & 0 \end{bmatrix}$ et $\mathbf{b} = \begin{bmatrix} 1 \\ -2 \\ 2 \\ -3 \end{bmatrix}$ en utilisant l’équation normale associée.

On note que $\mathbf{A}^\mathsf{T}\mathbf{A} = \begin{bmatrix} 6 & 3 \\ 3 & 6\end{bmatrix}$ et que $\mathbf{A}^\mathsf{T}\mathbf{b} = \begin{bmatrix} 9 \\ 6 \end{bmatrix}$.

La solution des moindres carrés est alors $$\hat{\mathbf{x}}=\begin{bmatrix} 6 & 3 \\ 3 & 6 \end{bmatrix}^{-1} \begin{bmatrix} 9 \\ 6\end{bmatrix} = \begin{bmatrix} \frac{4}{3} \\ \frac{1}{3}\end{bmatrix}.$$

Pour vérifier que c’est bien la bonne, il suffit de vérifier que $\mathbf{A}\hat{\mathbf{x}}$ et $\mathbf{b}-\mathbf{A}\hat{\mathbf{x}}$ sont orthogonaux. En effet, $$\begin{align*} (\mathbf{A}\hat{\mathbf{x}}) \cdot (\mathbf{b}-\mathbf{A}\hat{\mathbf{x}}) & = \begin{bmatrix} 2 \\ -\frac{1}{3} \\ \frac{5}{3} \\ -\frac{8}{3} \end{bmatrix} \cdot \begin{bmatrix} -1 \\ -\frac{5}{3} \\ \frac{1}{3} \\ -\frac{1}{3}\end{bmatrix} \\ & = -2 + \frac{5}{9} + \frac{5}{9} + \frac{8}{9} \\ & = 0. \end{align*}$$

Exercices

1. Déterminez une solution des moindres carrés de $\mathbf{A}\mathbf{x} = \mathbf{b}$, où $\mathbf{A} = \begin{bmatrix} 1 & 1 \\ 1 & -1 \\ 2 & 1 \end{bmatrix}$ et $\mathbf{b} = \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix},$ en résolvant l’équation normale associée.

2. Déterminez une solution des moindres carrés de $\mathbf{A}\mathbf{x} = \mathbf{b}$, où $\mathbf{A} = \begin{bmatrix} 1 & 0 & 1 \\ 1 & -1 & 0 \\ 2 & 1 & 3\end{bmatrix}$ et $\mathbf{b} = \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix},$ en résolvant l’équation normale associée.

3. Montrez que la solution des moindres carrés de $\mathbf{A}\mathbf{x} = \mathbf{b}$ est donnée par $$\mathbf{x} = (\mathbf{A}^\mathsf{T}\mathbf{A})^- \mathbf{A}^\mathsf{T}\mathbf{b},$$ où $(\mathbf{A}^\mathsf{T}\mathbf{A})^-$ dénote un pseudo-inverse de $\mathbf{A}^\mathsf{T}\mathbf{A}.$

Solutions

1. Notons que $\mathbf{A}^\mathsf{T}\mathbf{A} = \begin{bmatrix} 6 & 2 \\ 2 & 3\end{bmatrix}$ et $\mathbf{A}^\mathsf{T}\mathbf{b} = \begin{bmatrix} 9 \\ 2 \end{bmatrix}$.

   Ainsi, la solution des moindres carrés est $$\hat{\mathbf{x}}=\begin{bmatrix} 6 & 2 \\ 2 & 3 \end{bmatrix}^{-1} \begin{bmatrix} 9 \\ 2\end{bmatrix} = \begin{bmatrix} \frac{23}{14} \\ -\frac{3}{7}\end{bmatrix}.$$

2. Notons que $$\mathbf{A}^\mathsf{T}\mathbf{A} = \begin{bmatrix} 6 & 1 & 7 \\ 1 & 2 & 3 \\ 7 & 3 & 10 \end{bmatrix}$$ et $$\mathbf{A}^\mathsf{T}\mathbf{b} = \begin{bmatrix} 1 \\ 0 \\ 1\end{bmatrix}.$$

   Mais $\mathbf{A}^\mathsf{T}\mathbf{A}$ n’est pas inversible puisque la troisième colonne est la somme des deux premières colonnes. On résout $\mathbf{A}^\mathsf{T}\mathbf{A}\hat{\mathbf{x}} = \mathbf{A}^\mathsf{T}\mathbf{b}$ en réduisant $\begin{bmatrix} \mathbf{A}^\mathsf{T}\mathbf{A} & \mathbf{A}^\mathsf{T}\mathbf{b} \end{bmatrix}$ à la forme échelonnée réduite, qui devient $$\begin{bmatrix} 1 & 0 & 1 & \frac{2}{11} \\ 0 & 1 & 1 & -\frac{1}{11} \\ 0 & 0 & 0 & 0\end{bmatrix}.$$ Il y a plusieurs solutions des moindres carrés; en voici une : $$\hat{\mathbf{x}}=\begin{bmatrix} \frac{2}{11} \\ -\frac{1}{11} \\ 0 \end{bmatrix}.$$

3. D’après le théorème 11.1, toutes les solutions de l’équation normale sont données par $$(\mathbf{A}^\mathsf{T}\mathbf{A})^-\mathbf{A}^\mathsf{T}\mathbf{b} + (\mathbf{I}_n - (\mathbf{A}^\mathsf{T}\mathbf{A})^-(\mathbf{A}^\mathsf{T}\mathbf{A}))\mathbf{u},$$ $\mathbf{u} \in \mathbb{R}^n.$ En prenant $\mathbf{u} = \mathbf{0},$ on obtient le résultat désiré.