11.3 Cas général
Soient \(\mathbf{A} \in \mathbb{R}^{m\times n}\) et \(\mathbf{u} \in \mathbb{R}^m\). Nous avons vu précédemment que pour chaque \(\mathbf{w} \in \mathbb{R}^n\), \(\mathbf{A}\mathbf{w}\) est la projection orthogonale de \(\mathbf{u}\) dans \({\operatorname{Col}({\mathbf{A}})}\) si et seulement si \[\mathbf{A}^\mathsf{T}\mathbf{u} = \mathbf{A}^\mathsf{T}\mathbf{A} \mathbf{w}.\] Nous avons déjà vu que la condition est nécessaire. Pour vérifier qu’elle est également suffisante, on suppose que \(\mathbf{A}^\mathsf{T}\mathbf{u} = \mathbf{A}^\mathsf{T}\mathbf{A} \mathbf{w}.\) Soient \(\mathbf{y} = \mathbf{A}\mathbf{w}\) et \(\mathbf{z} = \mathbf{u} - \mathbf{y}\). Alors, \(\mathbf{u} = \mathbf{y} + \mathbf{z},\) et \[\begin{align*} \mathbf{A}^\mathsf{T}\mathbf{z} & = \mathbf{A}^\mathsf{T}(\mathbf{u}- \mathbf{y}) \\ & = \mathbf{A}^\mathsf{T}(\mathbf{u}- \mathbf{A}\mathbf{w}) \\ & = \mathbf{A}^\mathsf{T}\mathbf{u}- \mathbf{A}^\mathsf{T}\mathbf{A}\mathbf{w} \\ & = \mathbf{A}^\mathsf{T}\mathbf{u}- \mathbf{A}^\mathsf{T}\mathbf{u} = \mathbf{0}, \end{align*}\] d’où \(\mathbf{z} \in {\operatorname{Col}({\mathbf{A}})}^\perp.\) Ainsi, \(\mathbf{y}\) est la projection orthogonale de \(\mathbf{u}\) dans \({\operatorname{Col}({\mathbf{A}})},\) tel que désiré.
Considérons à nouveau l’équation \[\mathbf{A}^\mathsf{T}\mathbf{u} = \mathbf{A}^\mathsf{T}\mathbf{A} \mathbf{w}.\] D’après le théorème 11.1, \(\mathbf{w} = (\mathbf{A}^\mathsf{T}\mathbf{A})^{-} \mathbf{A}^\mathsf{T}\mathbf{u}\) est une solution du système. La projection orthogonale de \(\mathbf{u}\) dans \({\operatorname{Col}({\mathbf{A}})}\) est ainsi donnée par \[\mathbf{A}\mathbf{w} = \mathbf{A}(\mathbf{A}^\mathsf{T}\mathbf{A})^{-} \mathbf{A}^\mathsf{T}\mathbf{u}.\] En posant \[\mathbf{P}_{\mathbf{A}} = \mathbf{A}(\mathbf{A}^\mathsf{T}\mathbf{A})^{-} \mathbf{A}^\mathsf{T},\] la projection orthogonale de \(\mathbf{u}\) dans \({\operatorname{Col}({\mathbf{A}})}\) est \(\mathbf{P}_{\mathbf{A}} \mathbf{u}\) pour tout \(\mathbf{u} \in \mathbb{R}^m.\) La matrice \(\mathbf{P}_{\mathbf{A}}\) est la matrice de projection dans \({\operatorname{Col}({\mathbf{A}})}.\)
Bien qu’il y ait plusieurs pseudo-inverses \((\mathbf{A}^\mathsf{T}\mathbf{A})^{-}\), la matrice \(\mathbf{A}(\mathbf{A}^\mathsf{T}\mathbf{A})^{-} \mathbf{A}^\mathsf{T}\) est unique, comme la proposition suivante le démontre :
Proposition 11.1 Soit \(\mathbf{A} \in \mathbb{R}^{m\times n}\). Si \(\mathbf{G}\) et \(\mathbf{G'}\) sont des pseudo-inverses de \(\mathbf{A}^\mathsf{T}\mathbf{A}\), alors \[\mathbf{A} \mathbf{G} \mathbf{A}^\mathsf{T}=\mathbf{A} \mathbf{G'} \mathbf{A}^\mathsf{T}.\]
Démonstration. Pour chaque \(i \in \{1,\ldots,m\}\), soit \(\mathbf{e}^{(i)}\) la \(i\)-ième colonne de \(\mathbf{I}_m\). La projection orthogonale de \(\mathbf{e}^{(i)}\) dans \({\operatorname{Col}({\mathbf{A}})}\) est donnée par \(\mathbf{A} \mathbf{G} \mathbf{A}^\mathsf{T}\mathbf{e}^{(i)}\) et par \(\mathbf{A} \mathbf{G'} \mathbf{A}^\mathsf{T}\mathbf{e}^{(i)}.\) Puisque ces vecteurs sont égaux, on doit avoir \[\mathbf{A} \mathbf{G} \mathbf{A}^\mathsf{T}\mathbf{e}^{(i)} = \mathbf{A} \mathbf{G'} \mathbf{A}^\mathsf{T}\mathbf{e}^{(i)}\] pour tout \(i = 1,\ldots,m,\) d’où \[\mathbf{A} \mathbf{G} \mathbf{A}^\mathsf{T}\mathbf{I}_m = \mathbf{A} \mathbf{G'} \mathbf{A}^\mathsf{T}\mathbf{I}_m,\] ce qui implique que \[\mathbf{A} \mathbf{G} \mathbf{A}^\mathsf{T}= \mathbf{A} \mathbf{G'} \mathbf{A}^\mathsf{T}.\]
Proposition 11.2 Soit \(\mathbf{A} \in \mathbb{R}^{m\times n}.\) Alors \(\mathbf{P}_{\mathbf{A}} \mathbf{A} = \mathbf{A}.\)
Démonstration. Notons que pour tout \(\mathbf{u} \in \mathbb{R}^n,\) \(\mathbf{P}_{\mathbf{A}} \mathbf{u}\) est la projection orthogonale de \(\mathbf{u}\) dans \({\operatorname{Col}({\mathbf{A}})}.\) Ainsi, \(\mathbf{P}_{\mathbf{A}} \mathbf{u} = \mathbf{x}\) pour tout \(\mathbf{u} = \mathbf{x} + \mathbf{y}\), où \(\mathbf{x} \in {\operatorname{Col}({\mathbf{A}})}\) et \(\mathbf{y} \in {\operatorname{Col}({\mathbf{A}})}^\perp.\) Si \(\mathbf{u}\) est une colonne de \(\mathbf{A},\) alors \(\mathbf{P}_{\mathbf{A}} \mathbf{u} = \mathbf{u}.\) il s’ensuit que \(\mathbf{P}_{\mathbf{A}} \mathbf{A} = \mathbf{A}.\)
Exercices
Démontrez que si \(\mathbf{P}\) est une matrice de projection, alors \(\mathbf{P}^2 = \mathbf{P}\). (Une matrice \(\mathbf{A}\) telle que \(\mathbf{A}^2 = \mathbf{A}\) est dite idempotente.)
Soit \(\mathbf{P} \in \mathbb{R}^{n \times n}\) une matrice de projection.
Démontrez que pour tous \(\mathbf{u}, \mathbf{v} \in \mathbb{R}^n,\) \((\mathbf{P} \mathbf{u})\cdot \mathbf{v} = (\mathbf{P} \mathbf{u})\cdot (\mathbf{P} \mathbf{v})= \mathbf{u}\cdot (\mathbf{P} \mathbf{v}).\)
Démontrez que \(P\) est symétrique.
Soit \(\mathbf{P} \in \mathbb{R}^{n\times n}.\) Démontrez que si \(\mathbf{P}\) est symétrique et idempotente, alors \(\mathbf{P}\) est une matrice de projection.
Solutions
Soit \(\mathbf{A}\) telle que \(\mathbf{P} = \mathbf{A}(\mathbf{A}^\mathsf{T}\mathbf{A})^{-} \mathbf{A}^\mathsf{T}.\) Alors \[\begin{align*} \mathbf{P}^2 & = \mathbf{P} (\mathbf{A}(\mathbf{A}^\mathsf{T}\mathbf{A})^{-} \mathbf{A}^\mathsf{T}) \\ & = (\mathbf{P} \mathbf{A})(\mathbf{A}^\mathsf{T}\mathbf{A})^{-} \mathbf{A}^\mathsf{T}\\ & = \mathbf{A}(\mathbf{A}^\mathsf{T}\mathbf{A})^{-} \mathbf{A}^\mathsf{T}= \mathbf{P}, \end{align*}\] d’après la proposition 11.2.
Soit \(\mathbf{P} \in \mathbb{R}^{n\times n}\) une matrice de projection.
Soient \(\mathbf{u}, \mathbf{v} \in \mathbb{R}^n.\) Alors \(\mathbf{u} = \mathbf{P}\mathbf{u} + \mathbf{x}\) pour un \(\mathbf{x}\) tel que \((\mathbf{P} \mathbf{u}) \cdot \mathbf{x} = 0\) et \(\mathbf{v} = \mathbf{P}\mathbf{v} + \mathbf{y}\) pour un \(\mathbf{y}\) tel que \((\mathbf{P} \mathbf{u}) \cdot \mathbf{y} = 0.\) Ainsi, \[\begin{align*} (\mathbf{P} \mathbf{u})\cdot \mathbf{v} & = (\mathbf{P} \mathbf{u})\cdot (\mathbf{P} \mathbf{v} + \mathbf{y}) \\ & = (\mathbf{P} \mathbf{u})\cdot (\mathbf{P} \mathbf{v}) + (\mathbf{P} \mathbf{u})\cdot \mathbf{y} \\ & = (\mathbf{P} \mathbf{u})\cdot (\mathbf{P} \mathbf{v}) \end{align*}\] et \[\begin{align*} \mathbf{u}\cdot (\mathbf{P} \mathbf{v}) & = (\mathbf{P}\mathbf{u}+\mathbf{x}) \cdot (\mathbf{P} \mathbf{v}) \\ & = (\mathbf{P}\mathbf{u}) \cdot (\mathbf{P} \mathbf{v}) + \mathbf{x} \cdot (\mathbf{P} \mathbf{v}) \\ & = (\mathbf{P}\mathbf{u}) \cdot (\mathbf{P} \mathbf{v}) + (\mathbf{P} \mathbf{v})\cdot \mathbf{x} \\ & = (\mathbf{P}\mathbf{u}) \cdot (\mathbf{P} \mathbf{v}). \end{align*}\] Le résultat s’ensuit.
Soit \(\mathbf{e}^{(i)}\) la \(i\)-ième colonne de \(\mathbf{I}_n.\) Alors, pour tout \(i, j \in \{1,\ldots, n\},\) \[(\mathbf{P} \mathbf{e}^{(i)})\cdot \mathbf{e}^{(j)} = \mathbf{e}^{(i)}\cdot (\mathbf{P} \mathbf{e}^{(j)})\] d’après la partie a. Mais \((\mathbf{P} \mathbf{e}^{(i)}) \cdot \mathbf{e}^{(j)} = {\mathbf{e}^{(i)}}^\mathsf{T}\mathbf{P}^\mathsf{T}\mathbf{e}^{(j)}\) représente l’élément \((j,i)\) de \(\mathbf{P}\) et \(\mathbf{e}^{(i)}\cdot (\mathbf{P} \mathbf{e}^{(j)}) = {\mathbf{e}^{(i)}}^\mathsf{T}\mathbf{P} \mathbf{e}^{(j)}\) est l’élément \((i,j)\) de \(\mathbf{P},\) d’où \(\mathbf{P}\) est symétrique.
Il suffit de démontrer qu’il existe une matrice \(\mathbf{A}\) telle que pour tout \(\mathbf{u} \in \mathbb{R}^n,\) \(\mathbf{P}\mathbf{u} \in {\operatorname{Col}({\mathbf{A}})}\) et \(\mathbf{u} - \mathbf{P} \mathbf{u} \in {\operatorname{Col}({\mathbf{A}})}^\perp.\)
Soient \(\mathbf{A} = \mathbf{P}\) et \(\mathbf{u} \in \mathbb{R}^n.\) On voit immédiatement que \(\mathbf{P}\mathbf{u} = \mathbf{A}\mathbf{u} \in {\operatorname{Col}({\mathbf{A}})}.\)
Notons que \[\begin{align*} \mathbf{A}^\mathsf{T}(\mathbf{u} - \mathbf{P} \mathbf{u}) & = \mathbf{P}^\mathsf{T}(\mathbf{u} - \mathbf{P} \mathbf{u}) \\ & = \mathbf{P} (\mathbf{u} - \mathbf{P} \mathbf{u}) \\ & = \mathbf{P} \mathbf{u} - \mathbf{P}^2 \mathbf{u} \\ & = \mathbf{P} \mathbf{u} - \mathbf{P} \mathbf{u} = \mathbf{0}, \end{align*}\] d’où \(\mathbf{u} - \mathbf{P} \mathbf{u} \in {\operatorname{Col}({\mathbf{A}})}^\perp.\)
Remarque. Dans la littérature, une matrice de projection est parfois définie comme une matrice réelle, symétrique, et idempotente, sans référence à l’espace dans lequel les vecteurs sont projetés.