matrisprodukt 0 när vektorerna är ortogonala (Matematik/Universitet)

Menar du att om kolonnerna hos matris A är ortogonala mot kolonnerna hos matris B så är matrisprodukten AB lika med nollmatrisen?

Är kolonnerna hos A sinsemellan ortogonala? Är kolonnerna hos B sinsemellan ortogonala?

Albiki skrev:
Menar du att om kolonnerna hos matris A är ortogonala mot kolonnerna hos matris B så är matrisprodukten AB lika med nollmatrisen?
Är kolonnerna hos A sinsemellan ortogonala? Är kolonnerna hos B sinsemellan ortogonala?

Sorry att jag var otydlig. Menar att om kolonnerna hos matris A är ortogonala mot kolonnerna hos matris B så är matrisprodukten AB lika med nollmatrisen.

Finns det någon förklaring på det eller är det bara acceptera?

Jag kan visa att om kolonnvektorerna hos $A$ är ortogonala mot kolonnvektorerna hos $B$ så är matrisen $A^tB$ lika med nollmatrisen, men det var ju inte vad du ville visa så det får nog bli någon annan som kan hjälpa dig med det.

Menar du t.ex. $(\begin{matrix} 1 & 2 \\ 0 & 0 \end{matrix}) (\begin{matrix} 0 & 0 \\ 1 & 2 \end{matrix})$ ?

Albiki skrev:
Jag kan visa att om kolonnvektorerna hos $A$ är ortogonala mot kolonnvektorerna hos $B$ så är matrisen $A^tB$ lika med nollmatrisen, men det var ju inte vad du ville visa så det får nog bli någon annan som kan hjälpa dig med det.

Ja, det är vad jag försöker förstå, men hur hänger det ihop med att $A^{t} B$ är lika med nollmatrisen?

Laguna skrev:
Menar du t.ex. $(\begin{matrix} 1 & 2 \\ 0 & 0 \end{matrix}) (\begin{matrix} 0 & 0 \\ 1 & 2 \end{matrix})$ ?

Ja, ser att det stämmer men kan man visa det på något sätt?

lamayo skrev:
Laguna skrev:
Menar du t.ex. $(\begin{matrix} 1 & 2 \\ 0 & 0 \end{matrix}) (\begin{matrix} 0 & 0 \\ 1 & 2 \end{matrix})$ ?
Ja, ser att det stämmer men kan man visa det på något sätt?

Produkten är $(\begin{matrix} 2 & 4 \\ 0 & 0 \end{matrix})$ .

Laguna skrev:
lamayo skrev:
Laguna skrev:
Menar du t.ex. $(\begin{matrix} 1 & 2 \\ 0 & 0 \end{matrix}) (\begin{matrix} 0 & 0 \\ 1 & 2 \end{matrix})$ ?
Ja, ser att det stämmer men kan man visa det på något sätt?
Produkten är $(\begin{matrix} 2 & 4 \\ 0 & 0 \end{matrix})$ .

Oj jag körde skalärprodukt. Så det stämmer alltså inte?

lamayo skrev:
Laguna skrev:
lamayo skrev:
Laguna skrev:
Menar du t.ex. $(\begin{matrix} 1 & 2 \\ 0 & 0 \end{matrix}) (\begin{matrix} 0 & 0 \\ 1 & 2 \end{matrix})$ ?
Ja, ser att det stämmer men kan man visa det på något sätt?
Produkten är $(\begin{matrix} 2 & 4 \\ 0 & 0 \end{matrix})$ .
Oj jag körde skalärprodukt. Så det stämmer alltså inte?

Det stämmer inte. Vad menar du med skalärprodukt här?

Hej!

Laguna har visat att det inte är sant att $AB=0$ när kolonnerna hos $A$ och $B$ är ortogonala mot varandra.

Däremot är det sant att $A^{t}B=0$ när kolonnerna hos $A$ och $B$ är ortogonala mot varandra.

Till exempel är matrisprodukten

$\begin{pmatrix}1&0\\2&0\end{pmatrix}\begin{pmatrix}0&0\\1&2\end{pmatrix}=\begin{pmatrix}1\cdot 0+0\cdot 1&1\cdot 0+0\cdot 2\\2\cdot 0+0\cdot 1&2\cdot 0+0\cdot 2\end{pmatrix} = \begin{pmatrix}0&0\\0&0\end{pmatrix}$

Elementet på rad nummer $i$ och kolonn nummer $j$ är lika med skalärprodukten mellan kolonnvektor nummer $i$ från $A$ och kolonnvektor nummer $j$ från $B$ .

$\displaystyle(A^{t}B)_{ij} = \sum_{k=1}^{n}(A^{t})_{ik}(B)_{kj} = \sum_{k=1}^{n}a_{ki}b_{kj} = a_{1i}b_{1j}+a_{2i}b_{2j}+\cdots+a_{ni}b_{nj} = \begin{pmatrix}a_{1i}\\a_{2i}\\\vdots\\a_{ni}\end{pmatrix}\cdot \begin{pmatrix}b_{1j}\\b_{2j}\\\vdots\\b_{nj}\end{pmatrix} = 0.$

Albiki skrev:
Elementet på rad nummer $i$ och kolonn nummer $j$ är lika med skalärprodukten mellan kolonnvektor nummer $i$ från $A$ och kolonnvektor nummer $j$ från $B$ .
$\displaystyle(A^{t}B)_{ij} = \sum_{k=1}^{n}(A^{t})_{ik}(B)_{kj} = \sum_{k=1}^{n}a_{ki}b_{kj} = a_{1i}b_{1j}+a_{2i}b_{2j}+\cdots+a_{ni}b_{nj} = \begin{pmatrix}a_{1i}\\a_{2i}\\\vdots\\a_{ni}\end{pmatrix}\cdot \begin{pmatrix}b_{1j}\\b_{2j}\\\vdots\\b_{nj}\end{pmatrix} = 0.$

Tack så mycket nu förstår jag ! :)

Albiki skrev:
Hej!
Laguna har visat att det inte är sant att $AB=0$ när kolonnerna hos $A$ och $B$ är ortogonala mot varandra.
Däremot är det sant att $A^{t}B=0$ när kolonnerna hos $A$ och $B$ är ortogonala mot varandra.
Till exempel är matrisprodukten
$\begin{pmatrix}1&0\\2&0\end{pmatrix}\begin{pmatrix}0&0\\1&2\end{pmatrix}=\begin{pmatrix}1\cdot 0+0\cdot 1&1\cdot 0+0\cdot 2\\2\cdot 0+0\cdot 1&2\cdot 0+0\cdot 2\end{pmatrix} = \begin{pmatrix}0&0\\0&0\end{pmatrix}$

Jag har två följdfrågor. Kollade på härledningen för normalekvationen till minsta kvadratmetoden och där står det såhär:

1) Hur kommer det sig att $A (A \overset{⇀}{x} - \overset{⇀}{b}) = 0$ är samma som $A^{T} (A \overset{⇀}{x} - \overset{⇀}{b}) = 0 ?$

2) O varför tar man inte $A^{T} \overset{⇀}{x} (A \overset{⇀}{x} - \overset{⇀}{b}) = 0 ?$

lamayo skrev:
Hur kommer det sig att $A (A \overset{⇀}{x} - \overset{⇀}{b}) = 0$ är samma som $A^{T} (A \overset{⇀}{x} - \overset{⇀}{b}) = 0 ?$

Det är inte samma sak. Med den vanliga notationen så är det inte säkert att VL i den första ekvationen ens är definierat.

Hej!

Det du har skrivit är inte en härledning av normalekvationerna. Det gäller inte att vektorn $Ax-b$ ligger i nollrummet till $A$ .

Om du vill härleda normalekvationerna på riktigt så ska du finna den vektor $x \in \mathbb{R}^{p}$ som minimerar avståndet mellan vektorerna $b$ och $Ax$ . Låt $\hat{x}$ beteckna vektorn

$\hat{x} = \text{argmin}_{x\in\mathbb{R}^{p}}||b-Ax|||$ .

Det du ska visa är ekvivalensen

$x = \hat{x} \iff A^{t}Ax=A^{t}b.$

Albiki skrev:
Hej!
Det du har skrivit är inte en härledning av normalekvationerna. Det gäller inte att vektorn $Ax-b$ ligger i nollrummet till $A$ .
Om du vill härleda normalekvationerna på riktigt så ska du finna den vektor $x \in \mathbb{R}^{p}$ som minimerar avståndet mellan vektorerna $b$ och $Ax$ . Låt $\hat{x}$ beteckna vektorn
$\hat{x} = \text{argmin}_{x\in\mathbb{R}^{p}}||b-Ax|||$ .
Det du ska visa är ekvivalensen
$x = \hat{x} \iff A^{t}Ax=A^{t}b.$

Okej, men det minsta avståndet bör väll vara Ax•Ax-b? Kommer dock inte fram till normalekvationen med det

Hur kommer du fram till just det avståndet?

$x^tA^tAx-b$

och vilken vektor är $x$ i detta uttryck?

Albiki skrev:
Hur kommer du fram till just det avståndet?
$x^tA^tAx-b$
och vilken vektor är $x$ i detta uttryck?

Jag ritade i mitt svar ovan vektorerna och tänkte att det kortaste avståndet är när Ax och Ax-b är ortogonala och satte därför skalärprodukten lika med 0. Varför blir det fel?

lamayo skrev:
Albiki skrev:
Hur kommer du fram till just det avståndet?
$x^tA^tAx-b$
och vilken vektor är $x$ i detta uttryck?
Jag ritade i mitt svar ovan vektorerna och tänkte att det kortaste avståndet är när Ax och Ax-b är ortogonala och satte därför skalärprodukten lika med 0. Varför blir det fel?

Det är din uppgift att visa varför det är rätt att göra så.

Det kanske råkat bli ett tryckfel i härledningen eftersom antag att

$\hat{x} ⊥$ värderummet av A

då är

$A^{T} \hat{x} = 0$ .

Inses eftersom $A^{T}$ projicerar en vektor på värderummet av A. Vektorn $\hat{x}$ kan uttryckas med vektorn $\overset{⇀}{b}$ som då ger normalekvationen.

Nu har jag gjort såhär men det blir fel när jag tar skalärprodukten men jag använde att a•b=a^t*A*b, borde det inte funka?

Några frågor om din bild:

1. Varför ligger b i kolonnrummet till A?

2. Varför är Ax ortogonal projektion av b på kolonnrummet till A?

3. Hur får du att Pythagoras sats säger att avståndet mellan Ax-b och kolonnrummet till A är minst då Ax-b är ortogonal mot kolonnrummet?

4. Vektorn u borde vara b-Ax istället för Ax-b?

Albiki skrev:
Några frågor om din bild:
1. Varför ligger b i kolonnrummet till A?
2. Varför är Ax ortogonal projektion av b på kolonnrummet till A?
3. Hur får du att Pythagoras sats säger att avståndet mellan Ax-b och kolonnrummet till A är minst då Ax-b är ortogonal mot kolonnrummet?
4. Vektorn u borde vara b-Ax istället för Ax-b?

1. Det är meningen att den inte gör det, glömde skriva att b i det här fallet inte tillhör Col(A).

2. Tänkte eftersom det kortaste avståndet är när Ax-b är ortogonal mot kolonnrummet.

3. Eftersom den säger att hypotenusan är längre än kateterna och om avståndet mellan kolonrummet och b inte är ortogonal blir om man bildar en rätvinklig triangel avståndet hypotenusan medan om avståndet är ortogonal och man bildar en rätvinklig triangel så är det en katet.

4. Ja, gjorde fel.

Läs det du skrev under 3. en gång till. Låter det begripligt för dig? För mig låter det som rappakalja.

Albiki skrev:
Läs det du skrev under 3. en gång till. Låter det begripligt för dig? För mig låter det som rappakalja.

Har kollat på flera bevis och det jag inte fattar är A^t( $\overset{⇀}{b}$ -A $\overset{⇀}{x}$ )=0 och varför x är en vektor och inte skalär, kolonnvektorerna är ju i A. Men det måste väll vara så att de använder sig av att $A \cdot (\overset{⇀}{b} - A \overset{⇀}{x}) = A^{t} M (\overset{⇀}{b} - A \overset{⇀}{x}) = 0$

Men vad är M i matrisen?

lamayo skrev:
Har kollat på flera bevis och det jag inte fattar är A^t( $\overset{⇀}{b}$ -A $\overset{⇀}{x}$ )=0 och varför x är en vektor och inte skalär, kolonnvektorerna är ju i A. Men det måste väll vara så att de använder sig av att $A \cdot (\overset{⇀}{b} - A \overset{⇀}{x}) = A^{t} M (\overset{⇀}{b} - A \overset{⇀}{x}) = 0$
Men vad är M i matrisen?

Du måste väl förstå att med sådana inlägg finns det ingen som kan hjälpa dig? Hur i all sin dar ska vi kunna veta vad M är? Jag förstår inte varför du vill hemlighålla det bevis som du tittar på? Det är ingen statshemlighet hur minsta-kvadratmetoden fungerar vet du.

Albiki skrev:
lamayo skrev:
Har kollat på flera bevis och det jag inte fattar är A^t( $\overset{⇀}{b}$ -A $\overset{⇀}{x}$ )=0 och varför x är en vektor och inte skalär, kolonnvektorerna är ju i A. Men det måste väll vara så att de använder sig av att $A \cdot (\overset{⇀}{b} - A \overset{⇀}{x}) = A^{t} M (\overset{⇀}{b} - A \overset{⇀}{x}) = 0$
Men vad är M i matrisen?
Du måste väl förstå att med sådana inlägg finns det ingen som kan hjälpa dig? Hur i all sin dar ska vi kunna veta vad M är? Jag förstår inte varför du vill hemlighålla det bevis som du tittar på? Det är ingen statshemlighet hur minsta-kvadratmetoden fungerar vet du.

Sorry. Här är det beviset jag skrivit ner. Varför blir $A^{t} * \overset{⇀}{y} = \overset{⇀}{0}$ ?

lamayo skrev:
Har kollat på flera bevis och det jag inte fattar är A^t( $\overset{⇀}{b}$ -A $\overset{⇀}{x}$ )=0 och varför x är en vektor och inte skalär, kolonnvektorerna är ju i A. Men det måste väll vara så att de använder sig av att $A \cdot (\overset{⇀}{b} - A \overset{⇀}{x}) = A^{t} M (\overset{⇀}{b} - A \overset{⇀}{x}) = 0$
Men vad är M i matrisen?

Du får läsa mer grundläggande linjär algebra innan du försöker förstå minsta kvadratmetoden. $\overset{⇀}{x}$ är en vektor eftersom $\overset{⇀}{b}$ är en vektor då måste $A \overset{⇀}{x}$ vara en vektor. Det är viktigt med grundförståelse för att kunna följa bevis eller kunna fråga om hjälp. Sitta och gissa hejvilt och hitta på ekvationer som inte fungerar för att sedan fråga varför dessa inte ger rätt svar är meningslöst. Läs på det grundläggande tills det sitter i ryggmärgen. Det vinner du mycket på.

Din specifika fråga är alltså denna: Låt $A$ vara en matris med $n$ rader och $m$ kolonner av reella tal. Varför gäller det att det ortogonala komplementet till matrisens kolonnrumm $\text{Col}(A)^{\perp}$ är samma mängd som nollrummet till matrisens transponat $N(A^{t})$ ?

$A \in \mathbb{R}^{n\times m} \implies \text{Col}(A)^{\perp} = N(A^{t}).$

Albiki skrev:
Din specifika fråga är alltså denna: Låt $A$ vara en matris med $n$ rader och $m$ kolonner av reella tal. Varför gäller det att det ortogonala komplementet till matrisens kolonnrumm $\text{Col}(A)^{\perp}$ är samma mängd som nollrummet till matrisens transponat $N(A^{t})$ ?
$A \in \mathbb{R}^{n\times m} \implies \text{Col}(A)^{\perp} = N(A^{t}).$

Ja.

Det gäller att varje vektor i $\mathbb{R}^{n}$ kan skrivas som en summa av två vektorer från kolonnrummet och från dess ortogonala komplement.

$\mathbb{R}^{n} = \text{Col}(A) \oplus \text{Col}(A)^{\perp}.$

För vektorn $b \in \mathbb{R}^{n}$ betyder det att den kan skrivas

$b = b_{||}+b_{\perp}$

där $b_{||} \in \text{Col}(A)$ och $b_{\perp}\in\text{Col}(A)^{\perp}$ . Vektorn $Ax$ ligger i kolonnrummet till $A$ så vektorn $b-Ax$ kan skrivas som summan

$b-Ax = (b_{||}-Ax)+b_{\perp}.$

Pythagoras sats ger avståndet

$|b-Ax|^2 = |b_{||}-Ax|^2+|b_{\perp}|^2.$

Om det stämmer att $\text{Col}(A)^{\perp} = N(A^{t})$ så följer det att

$A^{t}(b-Ax) = A^{t}(b_{||}-Ax)$

eftersom $A^{t}b_{\perp}$ är nollvektorn.

Från Pythagoras sats ser man att avståndet $|b-Ax|^2$ aldrig kan bli mindre än $|b_{\perp}|^2$ och att detta minsta avstånd uppnås då $b_{||}-Ax=0$ (nollvektor). Från sambandet $\text{Col}(A)^{\perp} = N(A^t)$ följer det då att en sådan vektor $x$ uppfyller ekvationssystemet (normalekvationerna)

$A^t(b-Ax) = A^t0 = 0 \iff A^tb = A^tAx.$

Om matrisen $A^tA\in\mathbb{R}^{m\times m}$ är inverterbar ges vektorn $x$ av $(A^tA)^{-1}A^tb$ .

Låt $x \in \mathbb{R}^{m}$ vara en godtycklig vektor och $y \in \text{Col}(A)^{\perp}$ vara en godtycklig vektor. Då följer det att skalärprodukten $y \cdot (Ax) = 0$ och detta kan skrivas som matrismultiplikation $(Ax)^{t}y = 0 \iff x^{t}A^{t}y=0.$ Detta gäller för godtyckligt $x$ och därför följer det att $A^ty = 0$ (nollvektor).

Detta visar att $\text{Col}(A)^{\perp} \subseteq N(A^t).$

Om $y \in N(A^t)$ så följer det att $x^{t}A^ty = 0$ för varje vektor $x$ , vilket betyder att $y$ är ortogonal mot varje linjärkombination av kolonnerna till matrisen $A$ .

Detta visar att $N(A^t) \subseteq \text{Col}(A)^{\perp}.$

Beräkningarna visar att $b_{||}=A(A^tA)^{-1}A^tb$ är projektionen av $b$ på kolonnrummet till matrisen $A$ och att $b_{\perp}=(I-A(A^tA)^{-1}A^t)b$ är projektionen av $b$ på kolonnrummets ortogonala komplement.

Att det som sägs vara projektion på kolonnrummet verkligen är en projektion går att kontrollera genom att verifiera att "projektionen" är idempotent.

$(A(A^{t}A)^{-1}A^{t})^2 = A(A^{t}A)^{-1}A^{t}A(A^{t}A)^{-1}A^{t} = AI(A^{t}A)^{-1}A^{t} = A(A^{t}A)^{-1}A^{t}.$

Alla projektioner ( $P$ ) är idempotenta, $P^2 = P$ .

Albiki skrev:
Att det som sägs vara projektion på kolonnrummet verkligen är en projektion går att kontrollera genom att verifiera att "projektionen" är idempotent.
$(A(A^{t}A)^{-1}A^{t})^2 = A(A^{t}A)^{-1}A^{t}A(A^{t}A)^{-1}A^{t} = AI(A^{t}A)^{-1}A^{t} = A(A^{t}A)^{-1}A^{t}.$
Alla projektioner ( $P$ ) är idempotenta, $P^2 = P$ .

Tack Albiki! Det klarnade upp nu efter att ha läst igenom några gånger.

Bra att det klarnade tillslut.