Tikhonov regularisering och minsta kvadrat metoden

Det är samma som ridge regression? Vad menar du med att de löst med minsta kvadratmetoden? Det kan man väl göra även för denna regularisering, men med en tillagd straff-term/diagonalmatris.

Hondel skrev:

Det är samma som ridge regression? Vad menar du med att de löst med minsta kvadratmetoden? Det kan man väl göra även för denna regularisering, men med en tillagd straff-term/diagonalmatris.

Eftersom att den löstes i python använde de sig utav kommandot scipy.sparse.lsqr, vilket är minsta kvadrat metoden, för att lösa denna uppgift och det jag inte förstod är varför de kan använda den när de vill lösa den med Tikhonovs regularisering. Ja från vad jag förstår är Tikhonovs regularisering och ridge regression olika namn för samma sak.

Okej, och skickade de inte också med en regulariseringsparameter? För det verkar man kunna göra när jag läser dokumentationen

Hondel skrev:

Okej, och skickade de inte också med en regulariseringsparameter? För det verkar man kunna göra när jag läser dokumentationen

Det som sas var att man skulle använda sig utav $min_V ||Ax-b||^2_F+\beta^2||x||^2_F$ och att det var Tikhonovs regularization. Med dokumentationen, menar du den för scipy.sparse.lsqr? För där såg jag också att de hade den uträkningen de angav i uppgifte, kan det vara därför man kan använda lsqr?

lund skrev:

Hondel skrev:

Okej, och skickade de inte också med en regulariseringsparameter? För det verkar man kunna göra när jag läser dokumentationen

Det som sas var att man skulle använda sig utav $min_V ||Ax-b||^2_F+\beta^2||x||^2_F$ och att det var Tikhonovs regularization. Med dokumentationen, menar du den för scipy.sparse.lsqr? För där såg jag också att de hade den uträkningen de angav i uppgifte, kan det vara därför man kan använda lsqr?

Exakt, det är den regularisering som jag tänker på, och den där ekvationen kan man lösa med lsqr genom att skicka in $\beta$ som argumentet ”damp” enligt dokumentationen.

Det finns en analytisk lösning på problemet, och om du jämför den lösningen med den analytiska lösningen för samma problem men utan regularisering kommer du se att lösningarna är oerhört lika, och du kommer nog förstå att man implementerat en scipy-funktion som löser båda :)

Tillägg: 11 jan 2022 18:48

Första termen är ju ett minstakvadratproblem, det är du med på? Och om du bara behåller den termen (dvs kastar bort regulariseringstermen) så har du problemet ”utan regularisering” som jag skrev ovan. 

Hondel skrev:

lund skrev:

Visa föregående citat

Hondel skrev:

Okej, och skickade de inte också med en regulariseringsparameter? För det verkar man kunna göra när jag läser dokumentationen

Det som sas var att man skulle använda sig utav $min_V ||Ax-b||^2_F+\beta^2||x||^2_F$ och att det var Tikhonovs regularization. Med dokumentationen, menar du den för scipy.sparse.lsqr? För där såg jag också att de hade den uträkningen de angav i uppgifte, kan det vara därför man kan använda lsqr?

Exakt, det är den regularisering som jag tänker på, och den där ekvationen kan man lösa med lsqr genom att skicka in $\beta$ som argumentet ”damp” enligt dokumentationen.

Det finns en analytisk lösning på problemet, och om du jämför den lösningen med den analytiska lösningen för samma problem men utan regularisering kommer du se att lösningarna är oerhört lika, och du kommer nog förstå att man implementerat en scipy-funktion som löser båda :)

---

Tillägg: 11 jan 2022 18:48

Första termen är ju ett minstakvadratproblem, det är du med på? Och om du bara behåller den termen (dvs kastar bort regulariseringstermen) så har du problemet ”utan regularisering” som jag skrev ovan. 

Tusen tack för en tydlig förklaring! Då är jag med och förstår varför den löstes på det här sättet. Tack igen!