Regression

Univariate

Statistische Auswertung nur eines Merkmals. Beispiel: für zehn Personen wird das Körpergewicht gemessen und dann ein Mittelwert bzw. Durchschnitt gebildet. Statt univariat könnte man auch eindimensional sagen.

K Nearest Neighbour Regression

In den meisten Fällen haben nah beieinander liegende Datenpunkte auch ähnliche Kategorien / Werte.

• Es gibt keine theoretische spezifikation wie viele k Nachbaren verwendet werden sollen.
• Je grösser k ist, desto geringer ist es für das Model "lokale" patterns zu erkennen, jedoch wird die Varianz kleiner und die Prediction wird stabiler.

1. Es werden K Datenpunkte verwendet, die dem Suchwert am nähesten liegen.
2. Mittelwert der K Punkte ergibt annäherung.

Linear Regression

Die Daten sind linear, es gibt also eine Linie. Diese kann dafür verwendet werden, anhand einer Gerade einen Wert Y zu dem Wert X zu bestimmen.

$$h(x;{\theta }_0,thet{a}_1)=thet{a}_0+thet{a}_{1}x$$

• ${\theta }_0$: Schnittpunkt mit der Y-Achse
• ${\theta }_1$: Steigung der Gerade

$${\hat{y}}_m=h(x_m;{\theta }_0,{\theta }_1)={\theta }_0+{\theta }_1{x}_m$$

Loss

Abstand von einem Sample Wert zu seinem richtigen Wert

Wird pro einzelnes Samples berechnet

$$L_{RSS}({\theta }_0,{\theta }_1;\{x_m,y_m\})=\sum _{m=1}^M(y_m-{\hat{y}}_m{)}^2=\sum _{m=1}^M{\epsilon }_m^2$$

Cost

Abstand aller Samples zu ihrem korrekten Wert.

$$J({\theta }_0,{\theta }_1)=\frac{1}{2M}\sum _{m=1}^M(y_m-{\hat{y}}_m{)}^2$$

Beispiel

Eigenschaften

Linearity: Die Abhängigkeit zwischen X und Y muss linear sein.

Homoscedasticity: Die Varianz ist für alle Werte gleich

Independence: Der Ausgangswert ist unabhängig der Eingabewerte

Normality: Glockenkurve der Varianz