Seite 1 von 1

Künstliches neuronales Netz: Gewichtsupdate mit oder ohne Ableitung

Verfasst: 22. Jul 2018 21:57
von Jannis
Hallo!

Bei dem Perceptron Learning auf Folie 17 benutzen wir die Update-Regel
W_j <- W_j + alpha * Err * x_j

Später bei der Minimierung des Fehlers wird der zweite Term noch mit der Ableitung der Aktivierungsfunktion g'(in) multipliziert (Folie 21).

Benutzt man beim Lernen von den Gewichten allgemein die Variante mit der Ableitung (wenn die Aktivierungsfunktion differenzierbar ist), oder sieht man anhand anderer Punkte, welche "Lernvariante" man verwenden soll?

In der Aufgabenstellung von Aufgabe 1 b) von Übung 5 kann man das z.B. an dem geforderten Delta_a erkennen, da Delta nur in der Variante mit Ableitung vorkommt (Delta = Err * g'(in)).

Viele Grüße
Jannis

Re: Künstliches neuronales Netz: Gewichtsupdate mit oder ohne Ableitung

Verfasst: 23. Jul 2018 11:28
von Tobias Joppen
Bei neuronalen Netzen verwendet in der Regel immer die Variante mit der Ableitung.
Das Perceptron Learning ist als historische Variante und Einführung in das Thema eine Ausnahme.

Wenn es dir in der Klausur nicht eindeutlig erscheint hast du zwei einfache Möglichkeiten:
Nachfragen, oder eine schriftliche Anmerkung, welche Variante du verwendest.