Maskinindlæring: en introduktion til gennemsnitlige kvadratiske fejl og regressionslinjer

Introduktion

Denne artikel vil beskæftige sig med den statistiske metode betyder kvadratisk fejl , og jeg beskriver forholdet mellem denne metode og regressionslinjen .

Eksemplet består af punkter på den kartesiske akse. Vi definerer en matematisk funktion, der giver os den lige linje, der passerer bedst mellem alle punkter på den kartesiske akse.

Og på denne måde lærer vi sammenhængen mellem disse to metoder, og hvordan resultatet af deres forbindelse ser sammen.

Generel forklaring

Dette er definitionen fra Wikipedia:

I statistikker måler den gennemsnitlige kvadrerede fejl (MSE) for en estimator (af en procedure til estimering af en ikke-observeret størrelse) gennemsnittet af kvadraterne for fejlene - det vil sige den gennemsnitlige kvadratiske forskel mellem de estimerede værdier og det, der estimeres. MSE er en risikofunktion, der svarer til den forventede værdi af kvadratfejltabet. Det faktum, at MSE næsten altid er strengt positivt (og ikke nul), er på grund af tilfældighed, eller fordi estimatoren ikke tager højde for information, der kan give et mere nøjagtigt skøn.

Artiklens struktur

  • Få en fornemmelse af ideen, grafvisualisering, gennemsnitlig kvadratfejlligning.
  • Den matematiske del, der indeholder algebraiske manipulationer og et afledt af to-variable funktioner til at finde et minimum. Dette afsnit er for dem, der ønsker at forstå, hvordan vi får de matematiske formler senere, du kan springe det over, hvis det ikke interesserer dig.
  • En forklaring på de matematiske formler, vi modtog, og hvilken rolle hver variabel spiller i formlen.
  • Eksempler

Få en fornemmelse af ideen

Lad os sige, at vi har syv point, og vores mål er at finde en linje, der minimerer de kvadratiske afstande til disse forskellige punkter.

Lad os prøve at forstå det.

Jeg vil tage et eksempel, og jeg vil trække en linje mellem punkterne. Selvfølgelig er min tegning ikke den bedste, men det er kun til demonstrationsformål.

Du spørger dig måske selv, hvad er denne graf?

  • de lilla prikker er punkterne på grafen. Hvert punkt har en x-koordinat og en y-koordinat.
  • Den blå linje er vores forudsigelseslinje. Dette er en linje, der passerer gennem alle punkterne og passer dem på den bedste måde. Denne linje indeholder de forudsagte punkter.
  • Den røde linje mellem hvert lilla punkt og forudsigelseslinjen er fejlene. Hver fejl er afstanden fra punktet til dets forudsagte punkt.

Du skal huske denne ligning fra dine skoledage, y = Mx + B , hvor M er linjens hældning, og B er y-skæringspunktet for linjen.

Vi vil finde M (hældning) og B (y-skæring), der minimerer den kvadrerede fejl!

Lad os definere en matematisk ligning, der giver os den gennemsnitlige kvadratiske fejl for alle vores punkter.

Lad os analysere, hvad denne ligning faktisk betyder.

  • I matematik kaldes tegnet, der ligner underligt E, summation (græsk sigma). Det er summen af ​​en række af tal fra i = 1 til n. Lad os forestille os dette som en række punkter, hvor vi gennemgår alle punkterne, fra den første (i = 1) til den sidste (i = n).
  • For hvert punkt tager vi y-koordinaten for punktet og y'-koordinaten. Y-koordinaten er vores lilla prik. Y'-punktet sidder på den linje, vi oprettede. Vi trækker y-koordinatværdien fra y'-koordinatværdien og beregner kvadratet for resultatet.
  • Den tredje del er at tage summen af ​​alle (y-y ') ²-værdierne og dele den med n, hvilket giver gennemsnittet.

Vores mål er at minimere dette gennemsnit, hvilket giver os den bedste linje, der går gennem alle punkterne.

Fra koncept til matematiske ligninger

Denne del er til folk, der ønsker at forstå, hvordan vi kom til de matematiske ligninger . Du kan springe til den næste del, hvis du vil.

Som du ved er linjeligningen y = mx + b, hvor m er hældningen og b er y-skæringen.

Lad os tage hvert punkt på grafen, og vi foretager vores beregning (y-y ') ².

Men hvad er y ', og hvordan beregner vi det? Vi har det ikke som en del af dataene.

Men vi ved, at vi for at beregne y 'skal bruge vores linie ligning, y = mx + b, og sætte x i ligningen.

Herfra får vi følgende ligning:

Lad os omskrive dette udtryk for at forenkle det.

Lad os begynde med at åbne alle parenteserne i ligningen. Jeg farvede forskellen mellem ligningerne for at gøre det lettere at forstå.

Lad os nu anvende endnu en manipulation. Vi tager hver del og sætter den sammen. Vi tager alt y, og (-2ymx) og så videre, og vi sætter dem alle side om side.

På dette tidspunkt begynder vi at være rodet, så lad os tage gennemsnittet af alle kvadratiske værdier for y, xy, x, x².

Lad os definere for hvert enkelt et nyt tegn, der repræsenterer gennemsnittet af alle de kvadratiske værdier.

Lad os se et eksempel, lad os tage alle y-værdierne og dele dem med n, da det er middelværdien, og kalde det y (HeadLine).

Hvis vi multiplicerer begge sider af ligningen med n, får vi:

Hvilket vil føre os til følgende ligning:

Hvis vi ser på, hvad vi fik, kan vi se, at vi har en 3D-overflade. Det ligner et glas, der stiger skarpt opad.

Vi vil finde M og B, der minimerer funktionen. Vi laver et delvis derivat med hensyn til M og et delvis derivat med hensyn til B.

Da vi leder efter et minimumspunkt, tager vi delderivaterne og sammenligner med 0.

Lad os tage de to ligninger, vi modtog, isolere variablen b fra begge og derefter trække den øvre ligning fra bundligningen.

Lad os trække den første ligning fra den anden ligning

Lad os slippe med nævnere fra ligningen.

Og der går vi, dette er ligningen for at finde M, lad os tage dette og skrive B-ligning ned.

Ligninger for hældning og y-skæring

Lad os give de matematiske ligninger, der hjælper os med at finde den krævede hældning og y-skæring.

Så du tænker sandsynligvis for dig selv, hvad i helvede er de underlige ligninger?

De er faktisk enkle at forstå, så lad os tale lidt om dem.

Nu hvor vi forstår vores ligninger, er det tid til at samle alle ting og vise nogle eksempler.

Eksempler

En stor tak til Khan Academy for eksemplerne.

Eksempel nr. 1

Lad os tage 3 point, (1,2), (2,1), (4,3).

Lad os finde M og B for ligningen y = mx + b.

Når vi har beregnet de relevante dele til vores M-ligning og B-ligning, lad os sætte disse værdier inde i ligningerne og få hældningen og y-skæringen.

Lad os tage disse resultater og sætte dem inden for linjeligningen y = mx + b.

Lad os nu tegne linjen og se, hvordan linjen passerer gennem linjerne på en sådan måde, at den minimerer de kvadratiske afstande.

Eksempel 2

Lad os tage 4 point, (-2, -3), (-1, -1), (1,2), (4,3).

Lad os finde M og B for ligningen y = mx + b.

Samme som før, lad os sætte disse værdier i vores ligninger for at finde M og B.

Lad os tage disse resultater og indstille dem inden for linjeligning y = mx + b.

Lad os nu tegne linjen og se, hvordan linjen passerer gennem linjerne på en sådan måde, at den minimerer de kvadratiske afstande.

Afslutningsvis

Som du kan se, er hele ideen enkel. Vi er bare nødt til at forstå de vigtigste dele, og hvordan vi arbejder med dem.

Du kan arbejde med formlerne for at finde linjen på en anden graf og udføre en simpel beregning og få resultaterne for hældningen og y-skæringen.

Det er alt, simpelt, ikke? ?

Hver kommentar og al feedback er velkommen - hvis det er nødvendigt, løser jeg artiklen.

Du er velkommen til at kontakte mig direkte på LinkedIn - Klik her.