Cost Function

Gradient Descent

Generic Gradient Descent Algorithm

• Repeat until covergence

Learning Rate / Schrittgrösse: $\alpha$

$${\theta }_j={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$$

for every j=1..n

$${\theta }_j={\theta }_j-\alpha \frac{1}{M}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$

Learning Rate

$$\alpha$$

• Zu Beginn grosse Lernrate, um möglichst schnell ans Minimum zu gelangen

### Regeln

• Learning Rate $\alpha$ too small -> slow convergence
• Learning Rate $\alpha$ too large -> might "jump too far", might not converge or even diverge

### Learning Rate Optimization / Decay

$$\alpha =\frac{1}{1+\text{decay rate}\ast \text{epoch number}}{\alpha }_0$$

Momentum as Learning Rate Optimizer

Idea: add a fraction of previous update direction to the update: ${\theta }_j={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )-\gamma$

Effect: pushes the "jumps" of SGD in general direction towards the minimum

Regularization

$$\lambda$$

• Ist $\lambda$ klein, kann $\theta$ gross, somit kann das Polygon möglichst genau den Werten enstsprechen.
• ${\theta }_0$ wird nicht beeinflusst.

Hypothesis: ${\theta }_0(x)={\theta }^{T}x=\sum _{j=1}^n{\theta }_j{x}_j$

Cost Function: $J(\theta )=\frac{1}{2m}[\sum _{i=1}^m(y_m-{\theta }_0(x_m){)}^2+\lambda \sum _{j=1}^n{\theta }_j^2]$

Grosses $\lambda$

• Es wäre eine Gerade
• Die Gerade wäre möglichst flach bei 0

Hyperparameter Tuning

Hyperparameter sind Einstellungen oder Konfigurationen, die vor dem Training eines maschinellen Lernalgorithmus festgelegt werden müssen. Sie steuern Aspekte des Lernprozesses und beeinflussen, wie ein Modell trainiert wird. Im Gegensatz zu den Modellparametern, die während des Trainings aus den Daten gelernt werden, werden Hyperparameter manuell ausgewählt und können die Leistung und das Verhalten eines Modells erheblich beeinflussen. Beispiele für Hyperparameter sind Lernrate in neuronalen Netzen, Tiefe eines Entscheidungsbaums in Entscheidungsbäumen und die Anzahl der Cluster in k-means Clustering. Die Auswahl geeigneter Hyperparameter ist oft ein wichtiger Schritt beim Entwickeln von Machine-Learning-Modellen.

A hyperparameter in machine learning is a configuration setting that is external to the model and whose value cannot be learned from the data. Examples include learning rate, batch size, and the number of hidden layers in a neural network. Tuning hyperparameters is crucial for optimizing a model's performance.