Algèbre Linéaire et Applications

13.3 Démonstration et exemples

On démontre maintenant le théorème 13.2.

Soit $\mathbf{V} \mathbf{D} \mathbf{V}^\mathsf{T}$ une diagonalisation en base orthonormée de $\mathbf{A}^\mathsf{T}\mathbf{A}$ telle que tous les éléments positifs de $\mathbf{D}$ sont placés dans les $r$ premiers éléments de la diagonale. Supposons aussi que les valeurs propres sont énumérées par $\lambda_1,\ldots, \lambda_r$ , où $\lambda_1 \geq \cdots \geq \lambda_r$ .

Pour $i = 1,\ldots r$ , on dénote $\sqrt{\lambda_i}$ par $\sigma_i,$ la $i$ -ième colonne de $\mathbf{V}$ par $\mathbf{v}^{(i)},$ et $\frac{1}{\sigma_i} \mathbf{A}\mathbf{v}^{(i)}$ par $\mathbf{u}^{(i)}.$

Notons que $\mathbf{u}^{(i)}$ est unitaire pour chaque $i = 1,\ldots, r$ puisque $\begin{align*} \| \mathbf{u}^{(i)} \|^2 & = {\mathbf{u}^{(i)}}^\mathsf{T}\mathbf{u}^{(i)} \\ & = \frac{1}{\sigma_i^2} {\mathbf{v}^{(i)}}^\mathsf{T}\mathbf{A}^\mathsf{T}\mathbf{A}\mathbf{v}^{(i)} \\ & = \frac{1}{\lambda_i} {\mathbf{v}^{(i)}}^\mathsf{T}(\lambda_i \mathbf{v})^{(i)} \\ & = {\mathbf{v}^{(i)}}^\mathsf{T}\mathbf{v}^{(i)} \\ & = 1. \end{align*}$

De plus, $\begin{align*} \mathbf{u}^{(i)} \cdot \mathbf{u}^{(j)} & = {\mathbf{u}^{(i)}}^\mathsf{T}\mathbf{u}^{(j)} \\ & = \frac{1}{\sigma_i\sigma_j} {\mathbf{v}^{(i)}}^\mathsf{T}\mathbf{A}^\mathsf{T}\mathbf{A}\mathbf{v}^{(j)} \\ & = \frac{\lambda_j}{\sigma_i\sigma_j} {\mathbf{v}^{(i)}}^\mathsf{T}\mathbf{v}^{(j)} \\ & = 0 \end{align*}$ lorsque $i \neq j.$ Ainsi, on peut construire une base orthonormée $\{\mathbf{u}^{(1)},\ldots,\mathbf{u}^{(m)}\}$ de $\mathbb{R}^{m},$ à partir de $\{\mathbf{u}^{(1)},\ldots,\mathbf{u}^{(r)}\}.$

Soit $\mathbf{\Sigma}\in \mathbb{R}^{m \times n}$ la matrice diagonale telle que le $i$ -ième élément de la diagonale est $\sigma_i$ pour $i = 1,\ldots,r$ et tous les autres éléments sont nuls. Alors, $\mathbf{A}\mathbf{V} = \mathbf{U} \mathbf{\Sigma}.$ Puisque $\mathbf{V}$ est orthogonale, on multiplie à droite de chaque côté par $\mathbf{V}^\mathsf{T}$ afin d’obtenir $\mathbf{A} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^\mathsf{T},$ ce qui complète la démonstration du théorème 13.2.

Exemple 13.1 Soit $\mathbf{A} = \begin{bmatrix} 1 & 1 & 0 \\ 0 & 1 & 1\end{bmatrix}$ . Nous obtenons une décomposition en valeurs singulières de la matrice $\mathbf{A}$ .

Premièrement, les valeurs propres de $\mathbf{A}^\mathsf{T}\mathbf{A} = \begin{bmatrix} 1 & 1 & 0 \\ 1 & 2 & 1 \\ 0 & 1 & 1\end{bmatrix}$ sont obtenues en trouvant les racines du polynôme charactéristique $\begin{align*} \begin{vmatrix} 1 -\lambda & 1 & 0 \\ 1 & 2-\lambda & 1 \\ 0 & 1 & 1-\lambda \end{vmatrix} = (1-\lambda) \begin{vmatrix} 2-\lambda & 1 \\ 1 & 1-\lambda \end{vmatrix} - \begin{vmatrix} 1 & 1 \\ 0 & 1-\lambda \end{vmatrix} = -\lambda(\lambda - 3)(\lambda -1 ) \end{align*}$ Ainsi, les valeurs propres sont 3, 1 et 0. Posons $\sigma_1 = \sqrt{3}$ et $\sigma_2 = 1$ .

La forme échelonnée réduite de $\mathbf{A}^\mathsf{T}\mathbf{A} - 3\mathbf{I}$ est $\begin{bmatrix} 1 & 0 & -1\\ 0 & 1 & -2 \\ 0 & 0 & 0\end{bmatrix}.$ Ainsi, une base orthonormée de ${\operatorname{Ker}({\mathbf{A}^\mathsf{T}\mathbf{A} - 3\mathbf{I}})}$ est donnée par le vecteur $\mathbf{v}^{(1)} = \begin{bmatrix} \frac{1}{\sqrt{6}} \\ \frac{2}{\sqrt{6}} \\ \frac{1}{\sqrt{6}}\end{bmatrix}$ . Posons $\mathbf{u}^{(1)} = \frac{1}{\sigma_1} \mathbf{A} \mathbf{v}^{(1)} = \begin{bmatrix} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{bmatrix}$ .

La forme échelonnée réduite de $\mathbf{A}^\mathsf{T}\mathbf{A} - \mathbf{I}$ est $\begin{bmatrix} 1 & 0 & 1\\ 0 & 1 & 0 \\ 0 & 0 & 0\end{bmatrix}$ . Ainsi, une base orthonormée de ${\operatorname{Ker}({\mathbf{A}^\mathsf{T}\mathbf{A} - \mathbf{I}})}$ est donnée par le vecteur $\mathbf{v}^{(2)} = \begin{bmatrix} -\frac{1}{\sqrt{2}} \\ 0 \\ \frac{1}{\sqrt{2}}\end{bmatrix}$ . Posons $\mathbf{u}^{(2)} = \frac{1}{\sigma_2} \mathbf{A} \mathbf{v}^{(2)} = \begin{bmatrix} -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{bmatrix}$ .

La forme échelonnée réduite de $\mathbf{A}^\mathsf{T}\mathbf{A}-0\mathbf{I}$ est $\begin{bmatrix} 1 & 0 & -1\\ 0 & 1 & 1 \\ 0 & 0 & 0\end{bmatrix}$ . Ainsi, une base orthonormée de ${\operatorname{Ker}({\mathbf{A}^\mathsf{T}\mathbf{A}-0\mathbf{I}})}$ est donnée par le vecteur $\mathbf{v}^{(3)} = \begin{bmatrix} \frac{1}{\sqrt{3}} \\ -\frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{3}}\end{bmatrix}$ .

En posant $\mathbf{U} = \begin{bmatrix} \mathbf{u}^{(1)} & \mathbf{u}^{(2)}\end{bmatrix}$ , $\mathbf{\Sigma} = \begin{bmatrix} \sigma_1 & 0 & 0\\ 0 & \sigma_2 & 0 \end{bmatrix}$ , et $\mathbf{V} = \begin{bmatrix} \mathbf{v}^{(1)} & \mathbf{v}^{(2)} & \mathbf{v}^{(3)}\end{bmatrix}$ , on obtient $\mathbf{A} = \mathbf{U}\mathbf{\Sigma} \mathbf{V}^\mathsf{T}$ , où $\mathbf{U}$ et $\mathbf{V}$ sont des matrices orthogonales.

Les calculs permettant d’obtenir une décomposition en valeurs singulières sont très long à faire à la main. Par conséquence, on utilise souvent des progiciels tels que Matlab² ou GNU Octave³ dans lesquels la commande svd (pour l’équivalent anglais « singular-value decomposition ») calcule une décomposition en valeurs singulières d’une matrice.

Exercices

Obtenez une décomposition en valeurs singulière de $\mathbf{A} = \begin{bmatrix} 0 & 3 \\ 1 & 0 \\ 0 & -4 \end{bmatrix}$ .
Obtenez une décomposition en valeurs singulière de $\mathbf{A} = \begin{bmatrix} -2 & 11 \\ 5 & 10 \\ 14 & -2 \end{bmatrix}$ .

Solutions

Notons que $\mathbf{A}^\mathsf{T}\mathbf{A} = \begin{bmatrix} 1 & 0 \\ 0 & 25 \end{bmatrix}.$ On prend $\mathbf{\Sigma} = \begin{bmatrix} 1 & 0 \\ 0 & 5 \\ 0 & 0 \end{bmatrix}$ et $\mathbf{V} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}.$ Alors, $\mathbf{u}^{(1)} =\begin{bmatrix} 0 \\ 1 \\ 0 \end{bmatrix}$ et $\mathbf{u}^{(2)} =\begin{bmatrix} \frac{3}{5} \\ 0 \\ \frac{4}{5} \end{bmatrix}.$

La forme échelonnée réduite de $\begin{bmatrix} {\mathbf{u}^{(1)}}^\mathsf{T}\\ {\mathbf{u}^{(2)}}^\mathsf{T}\end{bmatrix}$ est $\mathbf{R} = \begin{bmatrix} 1 & 0 & \frac{4}{3} \\ 0 & 1 & 0\end{bmatrix}.$ Un vecteur non nul appartenant au noyau de $\mathbf{R}$ est $\begin{bmatrix} -4 \\ 0 \\ 3\end{bmatrix}.$ Donc, $\mathbf{u}^{(3)} = \frac{1}{\sqrt{(-4)^2+0^2+3^2}} \begin{bmatrix} -4 \\ 0 \\ 3\end{bmatrix} = \begin{bmatrix} -\frac{4}{5} \\ 0 \\ \frac{3}{5} \end{bmatrix}.$ En prenant $\mathbf{U} = \begin{bmatrix} 0 & \frac{3}{5} & -\frac{4}{5} \\ 1 & 0 & 0 \\ 0 & \frac{4}{5} & \frac{3}{3} \end{bmatrix},$ nous obtenons $\mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^\mathsf{T}$ .

Si on insiste pour écrire que les valeurs singulières soient ordonnées de manière décroissantes, on peut choisir $\mathbf{U} = \begin{bmatrix} \frac{3}{5} & 0 & -\frac{4}{5} \\ 0 & 1 & 0 \\ \frac{4}{5} & 0 & \frac{3}{3} \end{bmatrix}, ~ \mathbf{\Sigma} = \begin{bmatrix} 5 & 0 \\ 0 & 1 \\ 0 & 0 \end{bmatrix}, ~ \mathbf{V} = \begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix}.$
Notons que $\mathbf{A}^\mathsf{T}\mathbf{A} = \begin{bmatrix} 225 & 0 \\ 0 & 225\end{bmatrix}$ . On prend $\mathbf{\Sigma} = \begin{bmatrix} 15 & 0 \\ 0 & 15 \\ 0 & 0 \end{bmatrix}$ et $\mathbf{V} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}.$ Alors, $\mathbf{u}^{(1)} =\begin{bmatrix} -\frac{2}{15} \\ \frac{1}{3} \\ \frac{14}{15} \end{bmatrix}$ et $\mathbf{u}^{(2)} =\begin{bmatrix} \frac{11}{15} \\ \frac{2}{3} \\ -\frac{2}{15} \end{bmatrix}.$ La forme échelonnée réduite de $\begin{bmatrix} {\mathbf{u}^{(1)}}^\mathsf{T}\\ {\mathbf{u}^{(2)}}^\mathsf{T}\end{bmatrix}$ est $\mathbf{R} = \begin{bmatrix} 1 & 0 & -2 \\ 0 & 1 & 2\end{bmatrix}.$ Un vecteur non nul appartenant au noyau de $\mathbf{R}$ est $\begin{bmatrix} 2 \\ -2 \\ 1\end{bmatrix}.$ Donc, $\mathbf{u}^{(3)} = \frac{1}{\sqrt{2^2+(-2)^2+1^2}} \begin{bmatrix} 2 \\ -2 \\ 1\end{bmatrix} = \begin{bmatrix} \frac{2}{3} \\ -\frac{2}{3} \\ \frac{1}{3} \end{bmatrix}.$ En prenant $\mathbf{U} = \begin{bmatrix} -\frac{2}{15} & \frac{11}{15} & \frac{2}{3} \\ \frac{1}{3} & \frac{2}{3} & -\frac{2}{3} \\ \frac{14}{15} & -\frac{2}{15} & \frac{1}{3} \end{bmatrix},$ on obtient $\mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^\mathsf{T}$ .