Algèbre Linéaire et Applications

13.3 Démonstration et exemples

On démontre maintenant le théorème 13.2.

Soit \(\mathbf{V} \mathbf{D} \mathbf{V}^\mathsf{T}\) une diagonalisation en base orthonormée de \(\mathbf{A}^\mathsf{T}\mathbf{A}\) telle que tous les éléments positifs de \(\mathbf{D}\) sont placés dans les \(r\) premiers éléments de la diagonale. Supposons aussi que les valeurs propres sont énumérées par \(\lambda_1,\ldots, \lambda_r\), où \(\lambda_1 \geq \cdots \geq \lambda_r\).

Pour \(i = 1,\ldots r\), on dénote \(\sqrt{\lambda_i}\) par \(\sigma_i,\) la \(i\)-ième colonne de \(\mathbf{V}\) par \(\mathbf{v}^{(i)},\) et \(\frac{1}{\sigma_i} \mathbf{A}\mathbf{v}^{(i)}\) par \(\mathbf{u}^{(i)}.\)

Notons que \(\mathbf{u}^{(i)}\) est unitaire pour chaque \(i = 1,\ldots, r\) puisque \[\begin{align*} \| \mathbf{u}^{(i)} \|^2 & = {\mathbf{u}^{(i)}}^\mathsf{T}\mathbf{u}^{(i)} \\ & = \frac{1}{\sigma_i^2} {\mathbf{v}^{(i)}}^\mathsf{T}\mathbf{A}^\mathsf{T}\mathbf{A}\mathbf{v}^{(i)} \\ & = \frac{1}{\lambda_i} {\mathbf{v}^{(i)}}^\mathsf{T}(\lambda_i \mathbf{v})^{(i)} \\ & = {\mathbf{v}^{(i)}}^\mathsf{T}\mathbf{v}^{(i)} \\ & = 1. \end{align*}\]

De plus, \[\begin{align*} \mathbf{u}^{(i)} \cdot \mathbf{u}^{(j)} & = {\mathbf{u}^{(i)}}^\mathsf{T}\mathbf{u}^{(j)} \\ & = \frac{1}{\sigma_i\sigma_j} {\mathbf{v}^{(i)}}^\mathsf{T}\mathbf{A}^\mathsf{T}\mathbf{A}\mathbf{v}^{(j)} \\ & = \frac{\lambda_j}{\sigma_i\sigma_j} {\mathbf{v}^{(i)}}^\mathsf{T}\mathbf{v}^{(j)} \\ & = 0 \end{align*}\] lorsque \(i \neq j.\) Ainsi, on peut construire une base orthonormée \(\{\mathbf{u}^{(1)},\ldots,\mathbf{u}^{(m)}\}\) de \(\mathbb{R}^{m},\) à partir de \(\{\mathbf{u}^{(1)},\ldots,\mathbf{u}^{(r)}\}.\)

Soit \(\mathbf{\Sigma}\in \mathbb{R}^{m \times n}\) la matrice diagonale telle que le \(i\)-ième élément de la diagonale est \(\sigma_i\) pour \(i = 1,\ldots,r\) et tous les autres éléments sont nuls. Alors, \[\mathbf{A}\mathbf{V} = \mathbf{U} \mathbf{\Sigma}.\] Puisque \(\mathbf{V}\) est orthogonale, on multiplie à droite de chaque côté par \(\mathbf{V}^\mathsf{T}\) afin d’obtenir \[\mathbf{A} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^\mathsf{T},\] ce qui complète la démonstration du théorème 13.2.

Exemple 13.1 Soit \(\mathbf{A} = \begin{bmatrix} 1 & 1 & 0 \\ 0 & 1 & 1\end{bmatrix}\). Nous obtenons une décomposition en valeurs singulières de la matrice \(\mathbf{A}\).

Premièrement, les valeurs propres de \(\mathbf{A}^\mathsf{T}\mathbf{A} = \begin{bmatrix} 1 & 1 & 0 \\ 1 & 2 & 1 \\ 0 & 1 & 1\end{bmatrix}\) sont obtenues en trouvant les racines du polynôme charactéristique \[\begin{align*} \begin{vmatrix} 1 -\lambda & 1 & 0 \\ 1 & 2-\lambda & 1 \\ 0 & 1 & 1-\lambda \end{vmatrix} = (1-\lambda) \begin{vmatrix} 2-\lambda & 1 \\ 1 & 1-\lambda \end{vmatrix} - \begin{vmatrix} 1 & 1 \\ 0 & 1-\lambda \end{vmatrix} = -\lambda(\lambda - 3)(\lambda -1 ) \end{align*}\] Ainsi, les valeurs propres sont 3, 1 et 0. Posons \(\sigma_1 = \sqrt{3}\) et \(\sigma_2 = 1\).

La forme échelonnée réduite de \(\mathbf{A}^\mathsf{T}\mathbf{A} - 3\mathbf{I}\) est \(\begin{bmatrix} 1 & 0 & -1\\ 0 & 1 & -2 \\ 0 & 0 & 0\end{bmatrix}.\) Ainsi, une base orthonormée de \({\operatorname{Ker}({\mathbf{A}^\mathsf{T}\mathbf{A} - 3\mathbf{I}})}\) est donnée par le vecteur \(\mathbf{v}^{(1)} = \begin{bmatrix} \frac{1}{\sqrt{6}} \\ \frac{2}{\sqrt{6}} \\ \frac{1}{\sqrt{6}}\end{bmatrix}\). Posons \(\mathbf{u}^{(1)} = \frac{1}{\sigma_1} \mathbf{A} \mathbf{v}^{(1)} = \begin{bmatrix} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{bmatrix}\).

La forme échelonnée réduite de \(\mathbf{A}^\mathsf{T}\mathbf{A} - \mathbf{I}\) est \(\begin{bmatrix} 1 & 0 & 1\\ 0 & 1 & 0 \\ 0 & 0 & 0\end{bmatrix}\). Ainsi, une base orthonormée de \({\operatorname{Ker}({\mathbf{A}^\mathsf{T}\mathbf{A} - \mathbf{I}})}\) est donnée par le vecteur \(\mathbf{v}^{(2)} = \begin{bmatrix} -\frac{1}{\sqrt{2}} \\ 0 \\ \frac{1}{\sqrt{2}}\end{bmatrix}\). Posons \(\mathbf{u}^{(2)} = \frac{1}{\sigma_2} \mathbf{A} \mathbf{v}^{(2)} = \begin{bmatrix} -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{bmatrix}\).

La forme échelonnée réduite de \(\mathbf{A}^\mathsf{T}\mathbf{A}-0\mathbf{I}\) est \(\begin{bmatrix} 1 & 0 & -1\\ 0 & 1 & 1 \\ 0 & 0 & 0\end{bmatrix}\). Ainsi, une base orthonormée de \({\operatorname{Ker}({\mathbf{A}^\mathsf{T}\mathbf{A}-0\mathbf{I}})}\) est donnée par le vecteur \(\mathbf{v}^{(3)} = \begin{bmatrix} \frac{1}{\sqrt{3}} \\ -\frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{3}}\end{bmatrix}\).

En posant \(\mathbf{U} = \begin{bmatrix} \mathbf{u}^{(1)} & \mathbf{u}^{(2)}\end{bmatrix}\), \(\mathbf{\Sigma} = \begin{bmatrix} \sigma_1 & 0 & 0\\ 0 & \sigma_2 & 0 \end{bmatrix}\), et \(\mathbf{V} = \begin{bmatrix} \mathbf{v}^{(1)} & \mathbf{v}^{(2)} & \mathbf{v}^{(3)}\end{bmatrix}\), on obtient \(\mathbf{A} = \mathbf{U}\mathbf{\Sigma} \mathbf{V}^\mathsf{T}\), où \(\mathbf{U}\) et \(\mathbf{V}\) sont des matrices orthogonales.

Les calculs permettant d’obtenir une décomposition en valeurs singulières sont très long à faire à la main. Par conséquence, on utilise souvent des progiciels tels que Matlab² ou GNU Octave³ dans lesquels la commande svd (pour l’équivalent anglais « singular-value decomposition ») calcule une décomposition en valeurs singulières d’une matrice.

Exercices

Obtenez une décomposition en valeurs singulière de \(\mathbf{A} = \begin{bmatrix} 0 & 3 \\ 1 & 0 \\ 0 & -4 \end{bmatrix}\).
Obtenez une décomposition en valeurs singulière de \(\mathbf{A} = \begin{bmatrix} -2 & 11 \\ 5 & 10 \\ 14 & -2 \end{bmatrix}\).

Solutions

Notons que \(\mathbf{A}^\mathsf{T}\mathbf{A} = \begin{bmatrix} 1 & 0 \\ 0 & 25 \end{bmatrix}.\) On prend \(\mathbf{\Sigma} = \begin{bmatrix} 1 & 0 \\ 0 & 5 \\ 0 & 0 \end{bmatrix}\) et \(\mathbf{V} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}.\) Alors, \(\mathbf{u}^{(1)} =\begin{bmatrix} 0 \\ 1 \\ 0 \end{bmatrix}\) et \(\mathbf{u}^{(2)} =\begin{bmatrix} \frac{3}{5} \\ 0 \\ \frac{4}{5} \end{bmatrix}.\)

La forme échelonnée réduite de \(\begin{bmatrix} {\mathbf{u}^{(1)}}^\mathsf{T}\\ {\mathbf{u}^{(2)}}^\mathsf{T}\end{bmatrix}\) est \(\mathbf{R} = \begin{bmatrix} 1 & 0 & \frac{4}{3} \\ 0 & 1 & 0\end{bmatrix}.\) Un vecteur non nul appartenant au noyau de \(\mathbf{R}\) est \(\begin{bmatrix} -4 \\ 0 \\ 3\end{bmatrix}.\) Donc, \[\mathbf{u}^{(3)} = \frac{1}{\sqrt{(-4)^2+0^2+3^2}} \begin{bmatrix} -4 \\ 0 \\ 3\end{bmatrix} = \begin{bmatrix} -\frac{4}{5} \\ 0 \\ \frac{3}{5} \end{bmatrix}.\] En prenant \[\mathbf{U} = \begin{bmatrix} 0 & \frac{3}{5} & -\frac{4}{5} \\ 1 & 0 & 0 \\ 0 & \frac{4}{5} & \frac{3}{3} \end{bmatrix},\] nous obtenons \(\mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^\mathsf{T}\).

Si on insiste pour écrire que les valeurs singulières soient ordonnées de manière décroissantes, on peut choisir \[\mathbf{U} = \begin{bmatrix} \frac{3}{5} & 0 & -\frac{4}{5} \\ 0 & 1 & 0 \\ \frac{4}{5} & 0 & \frac{3}{3} \end{bmatrix}, ~ \mathbf{\Sigma} = \begin{bmatrix} 5 & 0 \\ 0 & 1 \\ 0 & 0 \end{bmatrix}, ~ \mathbf{V} = \begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix}.\]
Notons que \(\mathbf{A}^\mathsf{T}\mathbf{A} = \begin{bmatrix} 225 & 0 \\ 0 & 225\end{bmatrix}\). On prend \(\mathbf{\Sigma} = \begin{bmatrix} 15 & 0 \\ 0 & 15 \\ 0 & 0 \end{bmatrix}\) et \(\mathbf{V} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}.\) Alors, \(\mathbf{u}^{(1)} =\begin{bmatrix} -\frac{2}{15} \\ \frac{1}{3} \\ \frac{14}{15} \end{bmatrix}\) et \(\mathbf{u}^{(2)} =\begin{bmatrix} \frac{11}{15} \\ \frac{2}{3} \\ -\frac{2}{15} \end{bmatrix}.\) La forme échelonnée réduite de \(\begin{bmatrix} {\mathbf{u}^{(1)}}^\mathsf{T}\\ {\mathbf{u}^{(2)}}^\mathsf{T}\end{bmatrix}\) est \(\mathbf{R} = \begin{bmatrix} 1 & 0 & -2 \\ 0 & 1 & 2\end{bmatrix}.\) Un vecteur non nul appartenant au noyau de \(\mathbf{R}\) est \(\begin{bmatrix} 2 \\ -2 \\ 1\end{bmatrix}.\) Donc, \[\mathbf{u}^{(3)} = \frac{1}{\sqrt{2^2+(-2)^2+1^2}} \begin{bmatrix} 2 \\ -2 \\ 1\end{bmatrix} = \begin{bmatrix} \frac{2}{3} \\ -\frac{2}{3} \\ \frac{1}{3} \end{bmatrix}.\] En prenant \[\mathbf{U} = \begin{bmatrix} -\frac{2}{15} & \frac{11}{15} & \frac{2}{3} \\ \frac{1}{3} & \frac{2}{3} & -\frac{2}{3} \\ \frac{14}{15} & -\frac{2}{15} & \frac{1}{3} \end{bmatrix},\] on obtient \(\mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^\mathsf{T}\).