Neuronale Netze - Frei erweiterbarer Hidden Layer

[Azazel]

Hallo,

In den Aufgaben 4c) der beiden Klausuren vom SS09 und WS09/10 wird gefragt, welche Funktionen mit dem neuronalen Netz gelernt werden können, wenn der Hidden Layer unbegrenzt erweitert werden darf. In beiden Aufgaben ist die Aktivierungsfunktion g(x) = x.

In der Klausur vom SS09 heisst es, dass alle stetigen Funktionen damit gelernt werden können. In WS09/10 heisst es dagegen, dass alle linearen Funktionen damit gelernt werden können.

Ich bin verwirrt, da der Raum aller stetigen Funktionen auch nichtlineare Funktionen enthält. Welche Antwort ist nun richtig?

[Cpro]

Ich würde sagen:

Single node perceptron: Also maximal ein Ausgangssignal wird weitergegeben: Da gehen nur lineare Funktionen, egal wie groß dein Hidden Layer wird.
Multilayer perceptron: Mehrere Outputs weitergeben: Alle stetigen Funktionen.

[radio_controlled]

Gegenbeispiel: e^x

Ich bin zwar nicht aus eurem Kurs, denke aber, dass ihr eine Nicht-Linearität als Aktivierungsfunktion braucht, um alle stetigen Funktionen zu bekommen.

[Alby407]

Gegenbeispiel: e^x

Ich bin zwar nicht aus eurem Kurs, denke aber, dass ihr eine Nicht-Linearität als Aktivierungsfunktion braucht, um alle stetigen Funktionen zu bekommen.

Sehe ich auch so. Mit linearen Funktionen kann man (mit einem großen Hidden-Layer) jede lineare Funktion approximieren. Mit nicht-linearen Aktivierungsfunktionen (also z.B. sigmoid oder tanh) können wir dann alle stetigen Funktionen approximieren.