12.2 Cas à une seule variable
Considérons le scénario suivant : un professeur demande à quatre étudiantes de mesurer la hauteur du plafond de la salle de classe. Le tableau suivant indique les quatre mesures :
| 263.2 cm |
| 263.4 cm |
| 263.5 cm |
| 263.8 cm |
Quel est la véritable hauteur du plafond?
Si \(h\) dénote la véritable hauteur et si les mesures sont correctes, alors nous obtenons \[\begin{align*} h & = 263.2 \\ h & = 263.4 \\ h & = 263.5 \\ h & = 263.8, \end{align*}\] ce qui donne lieu à un système inconsistant.
Que se passe-t-il si nous cherchions plutôt une solution des moindres carrés?
On cherche alors la valeur pour \(h\) qui minimise \(\| h \mathbf{a} - \mathbf{b}\|\), où \(\mathbf{a} = \begin{bmatrix} 1 \\ 1 \\ 1\\ 1\end{bmatrix}\) et \(\mathbf{b} = \begin{bmatrix} 263.2 \\ 263.4 \\ 263.5 \\ 263.8 \end{bmatrix}\).
Commençons par noter que minimiser \(\| h \mathbf{a} - \mathbf{b}\|\) est équivalent à minimiser \(\| h \mathbf{a} - \mathbf{b}\|^2\).
Puisque \[\begin{align*} \| h \mathbf{a} - \mathbf{b}\|^2 & = (h-263.2)^2 + (h-263.4)^2 + (h-263.5)^2 + (h-263.8)^2 \\ & = 4h^2 - 2(263.2+263.4+263.5+263.8)h + (263.2^2+263.4^2+263.5^2+263.8^2) \end{align*}\] est une fonction quadratique par rapport à \(h\), on trouve facilement qu’elle est minimisée à \(h = \frac{263.2+263.4+263.5+263.8}{4}\). (Ceci peut être déduit en utilisant le calcul différentiel ou en complétant le carré.) Autrement dit, la meilleure approximation pour \(h\) est la moyenne de toutes les mesures.
Plus généralement, supposons que \(\mathbf{a} \in \mathbb{R}^{m\times 1}\) et \(\mathbf{b} \in \mathbb{R}^m,\) où \(\mathbf{a} \neq \mathbf{0}\).
Alors, pour \(x \in \mathbb{R}\), nous avons \[\begin{align*} \| x \mathbf{a} - \mathbf{b}\|^2 & = ( x \mathbf{a} - \mathbf{b})^\mathsf{T}( x \mathbf{a} - \mathbf{b}) \\ & = (\mathbf{a}^\mathsf{T}\mathbf{a}) x^2 - 2(\mathbf{a}^\mathsf{T}\mathbf{b}) x + \mathbf{b}^\mathsf{T}\mathbf{b} \\ & = \mathbf{a}^\mathsf{T}\mathbf{a} \left( x^2 - 2\left(\frac{\mathbf{a}^\mathsf{T}\mathbf{b}}{\mathbf{a}^\mathsf{T}\mathbf{a}}\right) x\right) + \mathbf{b}^\mathsf{T}\mathbf{b} \\ & = \mathbf{a}^\mathsf{T}\mathbf{a} \left( x - \frac{\mathbf{a}^\mathsf{T}\mathbf{b}}{\mathbf{a}^\mathsf{T}\mathbf{a}} \right)^2 - \frac{(\mathbf{a}^\mathsf{T}\mathbf{b})^2}{\mathbf{a}^\mathsf{T}\mathbf{a}} + \mathbf{b}^\mathsf{T}\mathbf{b}, \end{align*}\] qui atteint son minimum en \(x = \frac{\mathbf{a}^\mathsf{T}\mathbf{b}}{\mathbf{a}^\mathsf{T}\mathbf{a}}\).
Dans le cas où tous les éléments de \(\mathbf{a}\) sont 1, nous obtenons \[x = \frac{\displaystyle\sum_{i=1}^m b_i}{m},\] qui est tout simplement la moyenne de éléments de \(\mathbf{b}\). Ceci justifie l’utilisation à toutes les sauces de la moyenne lorsque l’on cherche à résumer un ensemble de mesures d’un phénomène, trait, objet, etc.
Exercices
Soient \(\mathbf{a} = \begin{bmatrix} 2 \\ 3 \\ 1\end{bmatrix}\) et \(\mathbf{b} = \begin{bmatrix} 1 \\ 1 \\ 0\end{bmatrix}\). Donnez une valeur \(x \in \mathbb{R}\) qui minimise \(\| x \mathbf{a} - \mathbf{b}\|^2.\)
Déterminez tous les \(x,y \in \mathbb{R}\) qui minimisent \((x+y-2)^2 + (x+y+1)^2.\)
Solutions
\(x = \frac{\mathbf{a}^\mathsf{T}\mathbf{b}}{\mathbf{a}^\mathsf{T}\mathbf{a}} = \frac{5}{14}.\)
Notons que \[\begin{align*} & (x+y-2)^2 + (x+y+1)^2 \\ = ~ & 2x^2 + 4xy + 2y^2 -2x - 2y + 5 \\ = ~ & 2(x^2 + 2xy + y^2 -x - y) + 5 \\ = ~ & 2(x+y-\frac{1}{2})^2 -\frac{1}{2} + 5, \end{align*}\] qui est minimisé pour tout \(x, y\in \mathbb{R}\) satisfaisant \(x+y= \frac{1}{2}.\)