Implementierungs-Projekt Aufgabe 3 Normalisierung

Moderator: Data Mining und Maschinelles Lernen

Joachim B
Neuling
Neuling
Beiträge: 8
Registriert: 26. Nov 2013 16:01

Implementierungs-Projekt Aufgabe 3 Normalisierung

Beitrag von Joachim B »

Hallo,

wir sind während unserer Implementierung auf ein kleines Problem gestoßen.
Bei der Normalisierung müssen ja alle Trainingsdaten plus das Testdatum normalisiert werden. Muss diese Normalisierung bei jedem neuen Testdatum neu aufgebaut werden, ohne Berücksichtigung vorheriger Testdaten?
Leider sind wir beim Reverse-Engineering des WEKA-Classifiers nicht wirklich schlauer geworden. WEKA scheint früherer Testdaten nicht aus seinen internen Arrays zu löschen, es könnte aber auch sein dass wir den Punkt nicht gefunden haben (trotz intensiven Debuggens).

Da Normalisieren an sich nicht so schwer ist, die entsprechenden AdvancedTests aber immer fehlschlagen gehen uns langsam die Ideen aus. Das ist momentan scheinbar der größte Unterschied zwischen WEKA und uns.

ChristianWirth
Moderator
Moderator
Beiträge: 103
Registriert: 23. Okt 2012 11:12

Re: Implementierungs-Projekt Aufgabe 3 Normalisierung

Beitrag von ChristianWirth »

Ob man die Testdaten bei der Normalisierung mit berücksichtigen müssen, kann man leider nicht allgemein beantworten. Die Testfälle nehmen an, dass dies nicht der Fall ist.
Grund: Eine Normalisierung mit Hilfe der Testdaten ist nur möglich wenn die Trainingsinstanzen noch bekannt ist. Hiervon kann man aber meistens nicht ausgehen, sondern erwartet dass nur noch das gelernte Modell zur Verfügung steht. kNN ist hierbei halt "nur" ein Sonderfall da Daten=Modell.

Antworten

Zurück zu „Data Mining und Maschinelles Lernen“