Seja $$A\in\mathbb{M(R)}_{m\times n}$$, e seja a sua decomposição SVD $$A=U\Sigma V^{T}$$, onde $$U=[u_{1}|…|u_{m}]$$, $$V=[v_{1}|…|v_{n}]]$$ e $$\sigma = diag(\sigma_{1},…,\sigma_{r})$$, com $$r=min\{m,n\}$$. Prove as seguintes afirmações:

a) $$Av_{i}=\sigma_{i}u_{i}$$, para $$1\leq i \leq r$$,

b) $$A^{T}u_{i}=\sigma_{i}v_{i}$$, para $$1\leq i \leq r$$,

c) $$A^{T}Av_{i}=\sigma_{i}^{2}u_{i}$$, para $$1\leq i \leq r$$

d) $$AA^{T}u_{i}=\sigma_{i}^{2}v_{i}$$, para $$1\leq i \leq r$$,

e) O posto da matriz $$A$$ é igual ao número de valores singulares. Analise o caso de posto completo e o caso de posto incompleto.

Demonstração:

Assumiremos $$m\geq n$$. Para demonstrar o caso contrário, basta realizar os cálculos para a matriz transposta de $$A$$.

a) Nota-se que $$Vv_{i}=e_{i}$$, sendo $$e_{i}$$ um vetor da base canônica de $$\mathbb{R^{n}}$$.Isto se deve ao fato de que $$V^{T}V=I$$, , por hipótese da decomposição SVD.

Observe também que $$\Sigma e_{i}=\sigma_{i}l_{i}$$, sendo $$l_{i}$$ um vetor da base canônica de $$\mathbb{R^{m}}$$. Isto se deve ao dato de que $$U^{T}U=I$$, por hipótese da decomposição SVD.

Finalmente, é fato que $$U\cdot\sigma_{i} l_{i}=\sigma_{i}u_{i}$$.

Portanto é válida a expressão a seguir:

\[Av_{i}=U\Sigma V^{T}v_{i}=U\Sigma e_{i}=U\sigma_{i} l_{i}=\sigma_{i}u_{i}$$, \]

b) A demonstração é análoga à do item anterior.

c) De a) e de b), temos: $$A^{T}Av_{i}=A^{T}\sigma_{i}u_{i}=\sigma^{2}v_{i}$$.

d) De a) e de b), temos $$AA^{T}u_{i}=A\sigma_{i}v_{i}=\sigma_{i}^{2}u_{i}$$.

e)

Caso 1: Seja $$n$$ o número de valores singulares, provaremos que o posto de $$A$$ é $$n$$ (posto completo).

Por hipótese da SVD, os vetores coluna de $$V$$ são um conjunto ortonormal, portanto são linearmente independentes. Além disso, com há $$n$$ vetores em $$\mathbb{R^{n}}$$, este é uma base do referido espaço vetorial.

Seja $$v\in\mathbb{R^{n}}$$ tal que $$Av=0$$. Provaremos que $$v=0$$.

Com efeito, $$v=\sum^{n}_{i=1}\alpha_{i}v_{i}$$. Então:

\[0=Av=U\Sigma V^{T}v = U\Sigma V^{T}\sum^{n}_{i=1}\alpha_{i}v_{i}=\sum^{n}_{i=1}\alpha_{i}U\Sigma V^{T}v_{i}=\sum^{n}_{i=1}\alpha_{i}\sigma^{i}u_{i}=0\].

Por hipótese da SVD, as colunas de $$U$$ formam uma base ortonormal de $$\mathbb{R^{m}}$$, pelo mesmo argumento do caso das colunas de $$V$$. Então esta última combinação linear só pode ser nula se $$\alpha_{i}=0$$, para todo $$i\leq n$$. Logo $$v=0$$.

Daqui, comprova-se que $$dim(\mathcal{N}(A))=0$$. Pelo teorema do núcleo e da imagem:

\[n=0+dim(Im(A))\].

A matriz tem, portanto, posto completo.

Caso 2: Suponha que $$posto(A)=p<n$$. Então $$\Sigma = diag (\sigma_{1},…,\sigma_{p})$$.

Do teorema do Núcleo e da Imagem, $$dim(\mathcal{N}(A))=n-p$$.

O post Álgebra Linear – Matrizes – SVD (exercício 2) apareceu primeiro em Educacional Plenus.

Seja $$A\in M_{m\times n}(\mathbb{R})$$. Prove que $$\sigma_{1}=sup_{x,y}\frac{y^{T}Ax}{||y||_{2}||x||_{2}}$$, para $$x\in\mathbb{R^{n}} e $$y\in\mathbb{R^{m}}$$, onde $$sigma_{1}$$ é o maior valor singular da SVD.

Demonstração:

Pelo teorema da SVD, $$A=U\Sigma V^{T}$$Redução da expressão:

\[y^{T}Ax=y^{T}U\Sigma V^{T}x=(U^{T}y)^{T}\Sigma (V^{T}x)\]. Poremos $$u=U^{T}y$$ e $$v=V^{T}x$$. Por hipótese do teorema da existência da SVD, as matrizes $$U$$ e $$V$$ são unitárias, logo $$||u||_{2}=||U^{T}y||_{2}=||y||_{2}$$ e $$||v||_{2}=||V^{T}x||_{2}=||x||_{2}$$.

Sejam $$v=(a_{1},…a_{n})$$ e $$u=(b_{1},…b_{m})$$, e suponha, sem perda de generalidade, que $$n\leq m$$.

A expressão $$u^{T}\Sigma v = a_{1}b_{1}\sigma_{1}+…+a_{n}b_{n}\sigma_{n}$$. Pelas conclusões apresentadas, é fato que:

\[sup_{x,y}\frac{y^{T}Ax}{||y||_{2}||x||_{2}} = sup_{u,v}\frac{u^{T}\Sigma v}{||u||_{2}||v||_{2}}=sup_{||u||_{2}=||v||_{2}=1}u^{T}\Sigma v= max_{||u||_{2}=||v||_{2}=1} (a_{1}b_{1}\sigma_{1}+…+a_{n}b_{n})\].

Este máximo é realizado quando $$a_{1}=b_{1}=1$$ e $$a_{i}=b_{i}=0$$, para todo $$i\neq 1$$, pois $$\sigma_{1}\geq\sigma_{2}\geq…\geq\sigma_{n}\geq 0$$.

Portanto $$sup_{x,y}\frac{y^{T}Ax}{||y||_{2}||x||_{2}} = \sigma_{1}$$.

O post Álgebra Linear – Matrizes – SVD (exercício 1) apareceu primeiro em Educacional Plenus.