Neuronale Netze - Frei erweiterbarer Hidden Layer

Moderator: Einführung in die Künstliche Intelligenz

Azazel
Windoof-User
Windoof-User
Beiträge: 30
Registriert: 26. Apr 2017 19:10

Neuronale Netze - Frei erweiterbarer Hidden Layer

Beitrag von Azazel » 25. Jul 2017 17:54

Hallo,

In den Aufgaben 4c) der beiden Klausuren vom SS09 und WS09/10 wird gefragt, welche Funktionen mit dem neuronalen Netz gelernt werden können, wenn der Hidden Layer unbegrenzt erweitert werden darf. In beiden Aufgaben ist die Aktivierungsfunktion g(x) = x.

In der Klausur vom SS09 heisst es, dass alle stetigen Funktionen damit gelernt werden können. In WS09/10 heisst es dagegen, dass alle linearen Funktionen damit gelernt werden können.

Ich bin verwirrt, da der Raum aller stetigen Funktionen auch nichtlineare Funktionen enthält. Welche Antwort ist nun richtig?

Benutzeravatar
Cpro
BASIC-Programmierer
BASIC-Programmierer
Beiträge: 108
Registriert: 16. Okt 2010 22:13
Wohnort: Darmstadt

Re: Neuronale Netze - Frei erweiterbarer Hidden Layer

Beitrag von Cpro » 26. Jul 2017 13:31

Ich würde sagen:

Single node perceptron: Also maximal ein Ausgangssignal wird weitergegeben: Da gehen nur lineare Funktionen, egal wie groß dein Hidden Layer wird.
Multilayer perceptron: Mehrere Outputs weitergeben: Alle stetigen Funktionen.

radio_controlled
BASIC-Programmierer
BASIC-Programmierer
Beiträge: 107
Registriert: 8. Okt 2010 20:31

Re: Neuronale Netze - Frei erweiterbarer Hidden Layer

Beitrag von radio_controlled » 26. Jul 2017 20:38

Gegenbeispiel: e^x

Ich bin zwar nicht aus eurem Kurs, denke aber, dass ihr eine Nicht-Linearität als Aktivierungsfunktion braucht, um alle stetigen Funktionen zu bekommen.

Alby407
Mausschubser
Mausschubser
Beiträge: 64
Registriert: 19. Jul 2014 15:40

Re: Neuronale Netze - Frei erweiterbarer Hidden Layer

Beitrag von Alby407 » 26. Jul 2017 22:56

radio_controlled hat geschrieben:
26. Jul 2017 20:38
Gegenbeispiel: e^x

Ich bin zwar nicht aus eurem Kurs, denke aber, dass ihr eine Nicht-Linearität als Aktivierungsfunktion braucht, um alle stetigen Funktionen zu bekommen.
Sehe ich auch so. Mit linearen Funktionen kann man (mit einem großen Hidden-Layer) jede lineare Funktion approximieren. Mit nicht-linearen Aktivierungsfunktionen (also z.B. sigmoid oder tanh) können wir dann alle stetigen Funktionen approximieren.

Antworten

Zurück zu „Einführung in die Künstliche Intelligenz“