Seite 1 von 1

Neuronale Netze - Frei erweiterbarer Hidden Layer

Verfasst: 25. Jul 2017 17:54
von Azazel
Hallo,

In den Aufgaben 4c) der beiden Klausuren vom SS09 und WS09/10 wird gefragt, welche Funktionen mit dem neuronalen Netz gelernt werden können, wenn der Hidden Layer unbegrenzt erweitert werden darf. In beiden Aufgaben ist die Aktivierungsfunktion g(x) = x.

In der Klausur vom SS09 heisst es, dass alle stetigen Funktionen damit gelernt werden können. In WS09/10 heisst es dagegen, dass alle linearen Funktionen damit gelernt werden können.

Ich bin verwirrt, da der Raum aller stetigen Funktionen auch nichtlineare Funktionen enthält. Welche Antwort ist nun richtig?

Re: Neuronale Netze - Frei erweiterbarer Hidden Layer

Verfasst: 26. Jul 2017 13:31
von Cpro
Ich würde sagen:

Single node perceptron: Also maximal ein Ausgangssignal wird weitergegeben: Da gehen nur lineare Funktionen, egal wie groß dein Hidden Layer wird.
Multilayer perceptron: Mehrere Outputs weitergeben: Alle stetigen Funktionen.

Re: Neuronale Netze - Frei erweiterbarer Hidden Layer

Verfasst: 26. Jul 2017 20:38
von radio_controlled
Gegenbeispiel: e^x

Ich bin zwar nicht aus eurem Kurs, denke aber, dass ihr eine Nicht-Linearität als Aktivierungsfunktion braucht, um alle stetigen Funktionen zu bekommen.

Re: Neuronale Netze - Frei erweiterbarer Hidden Layer

Verfasst: 26. Jul 2017 22:56
von Alby407
radio_controlled hat geschrieben:
26. Jul 2017 20:38
Gegenbeispiel: e^x

Ich bin zwar nicht aus eurem Kurs, denke aber, dass ihr eine Nicht-Linearität als Aktivierungsfunktion braucht, um alle stetigen Funktionen zu bekommen.
Sehe ich auch so. Mit linearen Funktionen kann man (mit einem großen Hidden-Layer) jede lineare Funktion approximieren. Mit nicht-linearen Aktivierungsfunktionen (also z.B. sigmoid oder tanh) können wir dann alle stetigen Funktionen approximieren.