Minsta kvadratmetoden- Ax-b som kortast när den är ortogonal mot planet?

Du har det överbestämda ekvationssystemet $Ax = b$ där antalet rader ($n$) är större än antalet kolonner ($m$), så matrisen $A$ är av typ $n \times m$ och vektorn $x$ är av typ $m \times 1$; då måste vektorn $b$ vara av typ $n \times 1$. 

Multiplicera systemet från vänster med $m \times n$-matrisen $A^{T}$ för att få systemet (som inte är överbestämt)

    $A^{T}Ax = A^{T}b.$

Om $m\times m$-matrisen $A^{T}A$ är inverterbar så har det nya systemet den unika lösningen

    $x^* = (A^{T}A)^{-1}A^{T}b.$

Det är en utmaning att visa att den unika lösningen till det nya systemet är den vektor som bäst uppfyller det ursprungliga systemet, det vill säga av alla tänkbara vektorer $x$ är det vektorn $Ax^*$ som ligger närmast vektorn $b$.

Albiki skrev:

Du har det överbestämda ekvationssystemet $Ax = b$ där antalet rader ($n$) är större än antalet kolonner ($m$), så matrisen $A$ är av typ $n \times m$ och vektorn $x$ är av typ $m \times 1$; då måste vektorn $b$ vara av typ $n \times 1$. 

Multiplicera systemet från vänster med $m \times n$-matrisen $A^{T}$ för att få systemet (som inte är överbestämt)

    $A^{T}Ax = A^{T}b.$

Om $m\times m$-matrisen $A^{T}A$ är inverterbar så har det nya systemet den unika lösningen

    $x^* = (A^{T}A)^{-1}A^{T}b.$

Det är en utmaning att visa att den unika lösningen till det nya systemet är den vektor som bäst uppfyller det ursprungliga systemet, det vill säga av alla tänkbara vektorer $x$ är det vektorn $Ax^*$ som ligger närmast vektorn $b$.

 okej tack! Varför fås lösning genom att multiplicera med $A^T$?

lamayo skrev:

Albiki skrev:

Du har det överbestämda ekvationssystemet $Ax = b$ där antalet rader ($n$) är större än antalet kolonner ($m$), så matrisen $A$ är av typ $n \times m$ och vektorn $x$ är av typ $m \times 1$; då måste vektorn $b$ vara av typ $n \times 1$. 

Multiplicera systemet från vänster med $m \times n$-matrisen $A^{T}$ för att få systemet (som inte är överbestämt)

    $A^{T}Ax = A^{T}b.$

Om $m\times m$-matrisen $A^{T}A$ är inverterbar så har det nya systemet den unika lösningen

    $x^* = (A^{T}A)^{-1}A^{T}b.$

Det är en utmaning att visa att den unika lösningen till det nya systemet är den vektor som bäst uppfyller det ursprungliga systemet, det vill säga av alla tänkbara vektorer $x$ är det vektorn $Ax^*$ som ligger närmast vektorn $b$.

 okej tack! Varför fås lösning genom att multiplicera med $A^T$?

 Jag skrev ju att det är en utmaning att visa att lösningen till det nya systemet (som uppkommer vid multiplicering med $A^{T}$) ger den vektor som är den bästa approximativa lösningen till det ursprungliga överbestämda systemet $Ax = b.$ Är det detta bevis som du efterfrågar? 

Det gäller alltså att bevisa att

    $\min_{v} |Av - b| = |Ax^*-b|,$

där $|w|$ anger kvadratisk (euklidesk) längd hos vektorn $w$ och $x^*$ ges i mitt tidigare inlägg.

Albiki skrev:

lamayo skrev:

Visa föregående citat

Albiki skrev:

Du har det överbestämda ekvationssystemet $Ax = b$ där antalet rader ($n$) är större än antalet kolonner ($m$), så matrisen $A$ är av typ $n \times m$ och vektorn $x$ är av typ $m \times 1$; då måste vektorn $b$ vara av typ $n \times 1$. 

Multiplicera systemet från vänster med $m \times n$-matrisen $A^{T}$ för att få systemet (som inte är överbestämt)

    $A^{T}Ax = A^{T}b.$

Om $m\times m$-matrisen $A^{T}A$ är inverterbar så har det nya systemet den unika lösningen

    $x^* = (A^{T}A)^{-1}A^{T}b.$

Det är en utmaning att visa att den unika lösningen till det nya systemet är den vektor som bäst uppfyller det ursprungliga systemet, det vill säga av alla tänkbara vektorer $x$ är det vektorn $Ax^*$ som ligger närmast vektorn $b$.

 okej tack! Varför fås lösning genom att multiplicera med $A^T$?

 Jag skrev ju att det är en utmaning att visa att lösningen till det nya systemet (som uppkommer vid multiplicering med $A^{T}$) ger den vektor som är den bästa approximativa lösningen till det ursprungliga överbestämda systemet $Ax = b.$ Är det detta bevis som du efterfrågar? 

Det gäller alltså att bevisa att

    $\min_{v} |Av - b| = |Ax^*-b|,$

där $|w|$ anger kvadratisk (euklidesk) längd hos vektorn $w$ och $x^*$ ges i mitt tidigare inlägg.

 Okej ska göra ett försök