Seite 1 von 1

Dummy-Eingabe Neuronale Netzwerke

Verfasst: 14. Feb 2013 18:37
von eintopf
Hallo,

habe versucht ein Beispiel NN zu bauen und habe unter anderem einen NOT-Knoten verwendet (Folie 15).
Als ich anschließend mal mit ein paar Werten rechnen wollte ist mir klar geworden, dass der eine Eingang nicht belegt ist (NOT ist ja unär).
Das Buch sagt nun, dass an diesen unbelegten Eingängen eine Dummy-Eingabe a0 anliegt.

Jetzt zum Problem:
Das Buch sagt dieser Dummy-Wert entspricht 1, die Folien sagen -1

Was ist richtig? Spielt es keine Rolle?

Würde mich über eine Aufklärung des Sachverhalts freuen.

Viele Grüße!

Re: Dummy-Eingabe Neuronale Netzwerke

Verfasst: 20. Feb 2013 18:12
von ubrefeld
Hallo Eintopf,

es ist generell ratsam überflüssige Kanten direkt wegzulassen. Ein Bias mit Gewicht w0 pro Knoten reicht aus (lineares Modell!). Durch die konstante Eingabe (s.u.) würden n Biasknoten jeweils das Gewicht w0/n bekommen damit dasselbe Ergebnis erzielt wird. Ausser überflüssigen Parametern und längeren Berechnungszeiten hat man eigentlich nichts gewonnen. Das heisst, ein NOT-Knoten bekommt nur zwei eingehende Kanten, den Eingang und den Bias. Da die Gewichte beim Training z.B. durch Backpropagation eingestellt werden spielt es auch keine Rolle ob der Biasknoten +1, -1 oder -217.94 emitiert, wichtig ist nur, dass er konstant ist. Ist z.B. nach erfolgreichem Training mit Bias -1 das dazugehörige Gewicht w0=5 wird ein erneutes Training mit Bias +1 automatisch zu w0=-5 führen. Hoffe das hilft.

Gruss
UB