Varians beta i multipel OLS

Hej, vet att jag ställt en liknande fråga innan om OLS och varians men det är några saker jag inte riktigt lyckas släppa. Jag utgår jag från $β = ({(X^{T} X)}^{- 1} X^{T} Y)$ , jag utgår också från att vi har n observationer och k st beta (inklusive intercept).

Variansen av beta är:

$V a r (β) = V a r (({(X^{T} X)}^{- 1} X^{T} Y) = {(X^{T} X)}^{- 1} X^{T} V a r (Y) {{((X^{T} X)}^{- 1} X^{T})}^{T} = σ^{2} {(X^{T} X)}^{- 1} X^{T} X {(X^{T} X)}^{- 1} = σ^{2} {(X^{T} X)}^{- 1}$

$L å t A = {(X^{T} X)}^{- 1}$ då blir $V a r (β_{i}) = [σ^{2} a_{i 1}, . . ., σ^{2} a_{i k}]$ , detta känns väldigt svårtolkat, speciellt då variansen är ett reellt tal, men vi har den lika med en vektor(?). Det hade känts mer rimligt om vi hade något i stil med $V a r (β_{i}) = [σ^{2} a_{i 1} + . . . + σ^{2} a_{i k}]$

Jag har gjort en egen härledning som jag är ganska säker på är korrekt men kan inte riktigt se att den är samma som det ovan. Givet iid sample får jag det till:

$V a r (β) = V a r (({(X^{T} X)}^{- 1} X^{T} Y)) = {L å t {(X^{T} X)}^{- 1} X^{T} = B} = [\begin{matrix} V a r (Y_{1} b_{11} + . . . + Y_{n} b_{n}) \\ . . . \\ V a r (Y_{1} b_{k 1} + . . . + Y_{n} b_{k n}) \end{matrix}]$

$= [\begin{matrix} σ^{2} {b^{2}}_{11} + . . . + σ^{2} {b^{2}}_{1 n} \\ . . . \\ σ^{2} {b^{2}}_{k 1} + . . . + σ^{2} {b^{2}}_{k n} \end{matrix}]$

Så två frågor:

Hur tolkar man vektorn ovan när man vill ha ut ett reellt tal för variansen och är mitt resultat samma som de ovan?

(Eftersom jag inte riktigt fattar vad det första blir är det ju svårt att veta om de är samma)

Tack på förhand!

Alltså nej, om X är en mxn matris så är (X^t X)^(-1) en nxn matris, en varians-kovariansmatris för beta-koefficenterna.

Din egen härledning blir också fel därför att du verkar tänka att var(BY) går att beräkna komponentvis men var(BY)=B^t var(Y)B.

Jag förstår att det är en varians-kovarians matris men hur ska man läsa av den?(om jag till exempel vill använda siffrorna till ett t-test)

Och angående min härledning, man beräknar väl beta med just:

$β_{i} (Y_{1}, . . ., Y_{n}) = {b^{2}}_{i 1} Y_{1} + . . . + {b^{2}}_{i n} Y_{n}$

Därav blir:

$V a r (β_{i} (Y_{1}, . . ., Y_{n})) = V a r (b_{i 1} Y_{1} + . . . + b_{i n} Y_{n})$

och eftersom Y_i antas vara oberoende i mitt exempel så gäller regeln Var(aX+bY) = a^2Var(X)+b^2Var(Y)

där alla Y_i antas ha samma varians Y_i = sigma^2

Men det kanske inte går att tänka så?

Smutsmunnen skrev:
Alltså nej, om X är en mxn matris så är (X^t X)^(-1) en nxn matris, en varians-kovariansmatris för beta-koefficenterna.

Din egen härledning blir också fel därför att du verkar tänka att var(BY) går att beräkna komponentvis men var(BY)=B^t var(Y)B.

Fast tvärtom, $\mathrm{var}(BY)=B\mathrm{var}(Y)B^T$

D4NIEL skrev:
Smutsmunnen skrev:
Alltså nej, om X är en mxn matris så är (X^t X)^(-1) en nxn matris, en varians-kovariansmatris för beta-koefficenterna.

Din egen härledning blir också fel därför att du verkar tänka att var(BY) går att beräkna komponentvis men var(BY)=B^t var(Y)B.

Fast tvärtom, $\mathrm{var}(BY)=B\mathrm{var}(Y)B^T$

Ja såklart.

Ygolopot skrev:
$L å t A = {(X^{T} X)}^{- 1}$ då blir $V a r (β_{i}) = [σ^{2} a_{i 1}, . . ., σ^{2} a_{i k}]$ , detta känns väldigt svårtolkat,

Vi tar det här först eftersom det är fel och kanske kärnan i problemet.

Det du skriver stämmer inte och jag vet inte vart du fått det ifrån. Med dina beteckningar gäller istället:

$V a r (β_{i}) = σ^{2} a_{i i}$

I en kovariansmatris står varianserna på den stora diagonalen, övriga element är kovarianser. Dvs

$C o v (β_{i}, β_{j}) = σ^{2} a_{i j}$

För ett vanligt ensidigt t-test av en specifik beta-parameter behöver du heller inte veta mer. Om du däremot vill bilda bilda konfidensintervall eller göra hypotesprövningar för flera beta-parametrar simultant så kommer du behöva hela kovariansmatrisen.

Ygolopot skrev:
Jag har gjort en egen härledning som jag är ganska säker på är korrekt men kan inte riktigt se att den är samma som det ovan. Givet iid sample får jag det till:

$V a r (β) = V a r (({(X^{T} X)}^{- 1} X^{T} Y)) = {L å t {(X^{T} X)}^{- 1} X^{T} = B} = [\begin{matrix} V a r (Y_{1} b_{11} + . . . + Y_{n} b_{n}) \\ . . . \\ V a r (Y_{1} b_{k 1} + . . . + Y_{n} b_{k n}) \end{matrix}]$

$= [\begin{matrix} σ^{2} {b^{2}}_{11} + . . . + σ^{2} {b^{2}}_{1 n} \\ . . . \\ σ^{2} {b^{2}}_{k 1} + . . . + σ^{2} {b^{2}}_{k n} \end{matrix}]$

I din egen härledning så är ju alltså dimensionaliten fel. Du börjar med $V a r (β)$ en kxk matris och slutar med en kx1 vektor så det kan uppenbart inte finnas likhet mellan.

Däremot ser själva beräkningen sedan korrekt ut, men det är inte Var(β) du beräknat utan variansen för varje komponent i beta. Att det är samma sak som den beräknar först är inte lätt att se men observera också att din kolumnvektor motsvarar diagonalelementen i matrisen $σ^{2} {(X^{T} X)}^{- 1}$ . Men nej det är inte lätt att se annars än genom just den algebraiska härledning du gör.

Svara

Visa senaste svar