Confusion Matrix vs Class Distribution

Moderator: Data Mining und Maschinelles Lernen

sabse
Windoof-User
Windoof-User
Beiträge: 26
Registriert: 29. Sep 2009 22:19

Confusion Matrix vs Class Distribution

Beitrag von sabse »

Hallo, ich habe eine Frage. Das ist mein Ergebnis für ein Datensatz:
Single conjunctive rule learner:
--------------------------------
(rimmx = t) => class = won

Class distributions:
Covered by the rule:
won nowin
1 0

Not covered by the rule:
won nowin
0.411901 0.588099


=== Confusion Matrix ===

a b <-- classified as
584 1085 | a = won
0 1527 | b = nowin


Es gibt 584 Beispiele, die (rimmx = t) haben und alle gehören zu der Klasse "won". So bleiben 2612 Beispiele die (rimmx = f) haben.
Laut den Ergebnissen gehören 41,1901 % davon zu Klasse "won" und 58,8099% zu "nowin".
Wenn man sich die Confusion Matrix anschaut sieht man, dass 1085 Beispiele von den 2612 zu "won" gehören und 1527 zu "nowin".
Das sind jeweils 41,53901% und 58,4609 % von 2612. Warum stimmen die Prozentangaben nicht exakt überein?

Viele Grüße,
S.

ChristianWirth
Moderator
Moderator
Beiträge: 103
Registriert: 23. Okt 2012 11:12

Re: Confusion Matrix vs Class Distribution

Beitrag von ChristianWirth »

Ohne genau Infos (classifier/dataset/setup) ist das etwas schwer zu sagen, aber so spontan würde ich darauf Tippen das du das Ergebniss einer CrossValidation betrachtest. Falls das der Fall ist, schau dir mal eine Evaluierung auf dem Trainingsset an.

sabse
Windoof-User
Windoof-User
Beiträge: 26
Registriert: 29. Sep 2009 22:19

Re: Confusion Matrix vs Class Distribution

Beitrag von sabse »

Hallo,

es geht um den Datensatz "kr-vs-kp.arff".
Das Ergebnis für die Testoption Training set ist das gleiche, d.h. stimmt nicht überein.

ChristianWirth
Moderator
Moderator
Beiträge: 103
Registriert: 23. Okt 2012 11:12

Re: Confusion Matrix vs Class Distribution

Beitrag von ChristianWirth »

Hallo,

Der Conjuntive Rule Learner nutzt ein internes Folding zum Pruning. D.h. es kommt zu Abweichungen zwischen der realen Instanzmenge und der vom Classifier betrachteten Instanzmenge, sowohl durch das Pruning als auch das Folding. Zudem werden die Werte des "Not/Covered by the rule" Eintrag werden direkt vom Classifier erzeugt und beziehen sich somit auf die jeweils vom Classifier betrachteten Instanzen. Die Confusion Matrix bezieht sich aber auf das Gesammtergebnis.

Da ich leider gerade auf dem Sprung bin, konnte ich jetzt auf die Schnelle nicht rausfinden ob die Abweichung durch ein Averaging über alle Folds oder das Ignorieren der geprunten Instanzen entsteht, aber die Antwort auf diese Frage würde ich natürlich auch weder in den Präsentation noch in der Klausur erwarten.

Antworten

Zurück zu „Data Mining und Maschinelles Lernen“