Skip to main content

2.3 Propriedades dos Estimadores

2.3.1 Propriedades dos estimadores de mínimos quadrados e do estimador para $ \sigma^2 $

Consideremos o "Modelo 2.2" na forma matricial. Pelo Teorema de Gauss-Markov temos que o estimador de mínimos quadrados $ \widehat{\beta} $ é não viciado e tem variância mínima entre todos os estimadores não viciados que são combinações lineares dos $ Y_i $.  Assim,


1. Valor esperado (média) de $ \widehat{\beta} $:

$$E(\widehat{\beta})= E[(X'X)^{-1}X'Y]=E[(X'X)^{-1}X'(X\beta+\varepsilon)]=E[(X'X)^{-1}X'X\beta+(X'X)^{-1}X'\varepsilon]$$

$$=E[I\beta]+E[(X'X)^{-1}X'\varepsilon]=\beta+(X'X)^{-1}X'E[\varepsilon]=\beta,$$

em que $ E[\varepsilon]=0 $ e $ (X'X)^{-1}X'X=I $ (matriz identidade).

 

2. Matriz de covariâncias de $ \widehat{\beta} $:

Para calcular a variância de $ \widehat{\beta}, $ vamos primeiramente destacar a definição de variância no caso matricial, ou seja, se $ W $ é um vetor de variáveis aleatórias, então a matriz de covariâncias de W é dado por

$$Cov(W)= E \left[ W W'\right] - E[W] E(W)',$$

que na forma matricial é escrita como

 

$$Cov[W] = \left[ \begin{array}{ccccc} Cov[W_1,W_1]~~Cov[W_1,W_2]~~Cov[W_1,W_3]~~\ldots ~~Cov[W_1,W_n] \\ Cov[W_2,W_1] ~~ Cov[W_2,W_2] ~~ Cov[W_2,W_3] ~~ \ldots ~~ Cov[W_2,W_n] \\ Cov[W_3,W_1] ~~Cov[W_3,W_2] ~~Cov[W_3,W_3] ~~ \ldots ~~Cov[W_3,W_n] \\ ~~~\vdots ~~~~~~~~~~~~~~~~~~ \vdots ~~~~~~~~~~~~~~~~ \vdots ~~~~~~~~~~~ \ddots ~~~~~~~~~~~ \vdots \\ Cov[W_n,W_1] ~~Cov[W_n,W_2] ~~Cov[W_n,W_3] ~~\ldots ~~Cov[W_n,W_n] \\ \end{array} \right]$$

 

Com isso, a matriz de covariâncias $ \widehat{\beta} $ é

$$Cov(\widehat{\beta})= E \left[\widehat{\beta}\widehat{\beta}'\right] - E[\widehat{\beta}] E(\widehat{\beta})' = E \left\{\left[(X'X)^{-1} X'Y\right]~\left[(X'X)^{-1} X'Y\right]'\right\} - \beta \beta'$$

$$= (X'X)^{-1} X'E(YY')~X(X'X)^{-1}  - \beta \beta'= (X'X)^{-1} X'\bl[ Cov(Y)+ E(Y)E(Y)' \br]~X(X'X)^{-1}  - \beta \beta'$$

$$= (X'X)^{-1} X'~ Cov(Y) ~ X(X'X)^{-1} + (X'X)^{-1}X' ~ E(Y)E(Y)' X(X'X)^{-1}  - \beta \beta'.$$

 

Fazendo $ Cov(Y)=\sigma^2~I $ e também que $ E(Y)=X \beta $


$$Cov(\widehat{\beta}) =\sigma^2 (X'X)^{-1}\overbrace{ X' I X(X'X)^{-1}}^{=~I} + (X'X)^{-1}X' (X\beta)(X\beta)' X' X(X'X)^{-1}  - \beta \beta'$$

$$ = \sigma^2 (X'X)^{-1} + \overbrace{(X'X)^{-1}X' X }^{=~I}\beta ~ \beta' \overbrace{X' X(X'X)^{-1}}^{=~I} ~ - ~ \beta \beta'$$

$$ = \sigma^2 (X'X)^{-1} + \beta  \beta' - \beta \beta'=\sigma^2(X'X)^{-1}.$$

 


3. Estimador não viciado para $ \sigma^2 $:


Consideremos a soma de quadrados dos resíduos dada por

$$SQE= \sum_{i=1}^n e^2_i = e'e = (Y-\widehat{Y})'(Y-\widehat{Y})= (Y-X\widehat{\beta})'(Y-X\widehat{\beta})$$

$$= Y'Y - Y'X\widehat{\beta} - \widehat{\beta}'X'Y  + \widehat{\beta}'X'X\widehat{\beta}= Y'Y - 2\widehat{\beta}'X'Y + \widehat{\beta}'X'X\widehat{\beta}.$$

 

Desde que $ X'X\widehat{\beta}=X'Y, $ segue que

 

$$SQE = Y'Y - 2\widehat{\beta}'X'Y + \widehat{\beta}'X'Y = Y'Y - \widehat{\beta}'X'Y\mbox{~~ou~ainda,}$$

$$= Y'Y - Y'X (X'X)^{-1}X'Y = Y'(I - X(X'X)^{-1}X')Y.$$

Portanto,

$$SQE = Y'(I - X(X'X)^{-1}X')Y.$$

 

Veremos a SQE com mais detalhes em "Análise de Variância".

 

 

Teorema - Distribuição de forma quadrática: Se $ Y \sim N_p(\mu;\Sigma) $, então, $ Y'AY \sim \chi^2_{r(A),\delta} $ (Qui-quadrado não central) se, e somente se, $ A\Sigma $ é idempotente, em que   

  • r(A): representa o rank da matriz A, ou seja, o número de colunas linearmente independentes da matriz A.
  • $ \delta=\dfrac{1}{2}\mu'A \mu $: representa o parâmetro de não centralidade.
  • Idempotente: $ A\Sigma \times A\Sigma = A\Sigma $

Como assumimos que o vetor de erro $ \varepsilon~\sim~N_p(0;\sigma^2I_p) $, segue que $ Y\sim N_p(X\beta;\sigma^2I_p) $ e então,

$$\dfrac{Y}{\sigma}\sim N_p\left(\dfrac{X\beta}{\sigma};I_p\right).$$

Desta forma, utilizando o teorema obtemos que

$$\dfrac{SQE}{\sigma^2}=\dfrac{Y'}{\sigma} \bl[I - X (X'X)^{-1}X'\br]\dfrac{Y}{\sigma}\sim\chi^{2}_{r[I -X(X'X)^{-1}X'];\delta}$$

já que a matriz $ (I - X (X'X)^{-1}X') $ é idempotente. Como

$$\delta=\dfrac{1}{2}\dfrac{\beta'X'(I-X(X'X)^{-1}X')X\beta}{\sigma^2}=0~~\mbox{e}$$

 

$$r(I-X(X'X)^{-1}X')=n-(p+1),$$

então

$$\dfrac{SQE}{\sigma^2}\sim\chi^{2}_{n-(p+1)}.$$

 

Portanto, um estimador não viciado para $ \sigma^2 $ é dado por

$$\widehat{\sigma}^2=QME=\dfrac{SQE}{n-p-1}.$$


4. Matriz de covariâncias estimada de $ \widehat{\beta} $:


em que $ \widehat{Cov}(\bf{\widehat{\beta}}) $ é uma matriz $ (p+1)\times (p+1) $, sendo $ p $ o número de variáveis explicativas do modelo.

Sendo $ C $ a diagonal da matriz $ {(X'X)}^{-1} $, isto é,

$$C=\begin{bmatrix}C_{00}~~~~~~~~~~~~~~~\\~~~~~C_{11}~~~~~~~~~~\\~~~~~~~~~~\ddots~~~~~\\~~~~~~~~~~~~~~~C_{pp}\end{bmatrix},$$

podemos escrever a variância estimada dos $ \widehat{\beta}_{j} $ como

$$\widehat{\sigma}^{2}(\widehat{\beta}_j)=\widehat{\sigma}^2C_{jj},\quad j=0,1,\dots,p.$$

Exemplo 2.3.1

Calcular a matriz de covariâncias estimada considerando os dados transformados do "Exemplo 2.2.3". 

A matriz $ {(X'X)} $ neste caso é dada por


Temos também que

$$\widehat{\sigma}^2= QME = \dfrac{SQE}{n-p-1}=\dfrac{y'y-\whidehar{\beta}'X'y}{14-2-1}=\dfrac{22.527.889-22.514.467,9}{11}=\dfrac{13.421,2}{11}=1.220,1.$$

Logo,

Podemos também utilizar a matriz $ C $, dada por

Neste caso, a variância estimada dos estimadores $ \widehat{\beta}_{j}\quad j=0,1,2 $ é

$$\widehat{\sigma}^{2}(\widehat{\beta}_{0})=\widehat{\sigma}^{2}C_{00}=1.220,1(0,0720)=87,881.$$

$$\widehat{\sigma}^{2}(\widehat{\beta}_{1})=\widehat{\sigma}^{2}C_{11}=1.220,1(0,1660)=202,481.$$

$$\widehat{\sigma}^{2}(\widehat{\beta}_{2})=\widehat{\sigma}^{2}C_{22}=1.220,1(0,1429)=174,323.$$

O desvio padrão dos estimadores é

$$\widehat{\sigma}(\widehat{\beta}_{0})=\sqrt{87,881}=9,374.$$

$$\widehat{\sigma}(\widehat{\beta}_{1})=\sqrt{202,481}=14,230.$$

$$\widehat{\sigma}(\widehat{\beta}_{2})=\sqrt{174,323}=13,203.$$

 

Usando o software Action temos os seguintes resultados:


 Para entender como executar essa função do Software Action, você pode consultar o manual do usuário.