AUC auf Regellerner

Xelord
Sonntagsinformatiker
Sonntagsinformatiker
Beiträge: 225
Registriert: 23. Okt 2004 09:49

AUC auf Regellerner

Beitrag von Xelord »

Hallo,

mir ist nicht klar, wie man den AUC bei ROC und Regellernern berechnet.

Ich habe ja pro Regel einen Punkt im ROC. Diese kann ich verbinden und bekomme auch eine Fläche darunter.
Nur wie berechnet man nun den rank ? Das Problem ist, dass eine Regel ja nicht eine Klassifizierung von einem Beispiel ist, sondern mehreren. Somit können die Ränge der Beispiele bei den Regeln nur auf einem Rang sein oder wie ist das ?

Wenn ich immer von einer Reihenfolge erst positive Beispiele und dann negative Beispiele bekomme ich ja ein optimistisches Ergebnis, anderstrum ein pessimistisches.

FJanssen
BASIC-Programmierer
BASIC-Programmierer
Beiträge: 130
Registriert: 13. Nov 2006 13:56
Kontaktdaten:

Re: AUC auf Regellerner

Beitrag von FJanssen »

Hallo,

für jede Regel kann anhand der (Trainings)-daten ein Evaluationswert, z.B. die zu erwartende (Laplace-)Precision,  bezüglich einer Klasse berechnet werden. Dadurch kann jedem Beispiel ein eindeutiger Rank, analog wie bei einem Ranker, zugewiesen werden. Nach diesem Rank können die Beispiele sortiert werden, danach geht es analog wie bei einem Ranker weiter.

Xelord
Sonntagsinformatiker
Sonntagsinformatiker
Beiträge: 225
Registriert: 23. Okt 2004 09:49

Re: AUC auf Regellerner

Beitrag von Xelord »

Sorry, ich habs noch nicht verstanden.
Angenommen ich habe die Wert aus der 7.Übung
Regel TP FP
1 0 0
2 160 20
3 170 60
4 190 80
5 200 100

Wobei Regel 1 und Regel 5 die leere und die universelle Theorie angeben.

Die Punkte kann ich ja nun problemlos einzeichnen.´
ROC
ROC
roc.png (5.88 KiB) 634 mal betrachtet
In der Zeichnung ist auch zu erkennen, dass der AUC > 0.5 sein sollte. Aber mir ist nicht klar, wie ich die precision hier berechne, da sie ja für die ganze regel gegeben ist.

Sulzmann
Mausschubser
Mausschubser
Beiträge: 45
Registriert: 13. Nov 2006 16:02

Re: AUC auf Regellerner

Beitrag von Sulzmann »

Dies soll die Verwendung eines Regellerners als Ranker verdeutlichen:

Angenommen ich habe die folgende Decision List (von R1 bis DefaultRule) mit geschätzten Precisionwerten:
Regel R1 -> + hat Precision 0.95
Regel R2 -> + hat Precision 0.90
Regel R3 -> + hat Precision 0.94
Default Rule -> - hat Precision 0.87 (also 0.13 für +)

Also haben wir 4 Thresholds für einen Ranker.

Mit diesen Regeln haben wir 5 Beispiele wie folgt klassifiziert:
Bsp (abdeckende Regel) "Rank für Klasse +" "tatsächliche Klasse"
Bsp. 1 (R1) 0.95 +
Bsp. 2 (R3) 0.94 +
Bsp. 3 (D) 0.13 -
Bsp. 4 (R2) 0.90 +
Bsp. 5 (R3) 0.94 -

Sortieren wir das:
Bsp (abdeckende Regel) "Rank für Klasse +" "tatsächliche Klasse"
Bsp. 1 0.95 +
Bsp. 2 0.94 +
Bsp. 5 0.94 -
Bsp. 4 0.90 +
Bsp. 3 0.13 -

Somit erhalten wir die folgenden Punkte im Roc-Raum:
(0, 1/3)
(1/2, 2/3)
(1/2, 1)
(1, 1)

Somit eine AUC von 1/6+1/2 = 2/3.

Ich hoffe, daß veranschaulicht die Vorgehensweise.

Xelord
Sonntagsinformatiker
Sonntagsinformatiker
Beiträge: 225
Registriert: 23. Okt 2004 09:49

Re: AUC auf Regellerner

Beitrag von Xelord »

Ok danke. Das habe ich verstanden.

Brauch man also zwingend Beispiele um den AUC zu berechnen ? Mit den oben angegebenen Daten (aus Übung 7) kann ich den AUC nicht berechnen ?
Oder muss ich nun hingehen von jeder Regel die Precision berechnen und dann die negativen Beispiele als letztes Anordnen ?

Wenn ich dein Beispiel in die Formel einsetze, kriege ich

\(AUC=\frac{8-3}{6}=\frac{5}{6}\) \(P=3, N=2, \sum r=8\) oder ?

Sulzmann
Mausschubser
Mausschubser
Beiträge: 45
Registriert: 13. Nov 2006 16:02

Re: AUC auf Regellerner

Beitrag von Sulzmann »

Bevor wir weiter Verwirrung stiften... Man sollte Fragen in diesem Forum möglichst eindeutig formulieren!

Wir haben in der Vorlesung drei Sachverhalte kennengelernt, die in einem Roc-Raum eingezeichnet werden können:

1. Das Covering einer Regelmenge (siehe Regellernen, Folie 13, wobei hier der Coverage Space verwendet wird)
2. Klassifizierer anhand ihr TP- und FP-Rate (siehe Evaluation, Folie 23)
3. Ranker anhand von den aus ihnen resultierenden Rankings von Beispielen (siehe Evaluation, Folie 39)

Für alle drei Fälle benötigen wir Beispiele, um Evaluierungswerte (wie z.B. TP- und FP-Rate, Accuracy usw) zu bestimmen.

Deine Frage kann sich also auf 1. oder 3. beziehen. Abhängig davon erhält man unterschiedliche AUC-Werte (der Name "Area-under-Curve" sagt ja auch erstmal nichts über die Kurve aus). Für 1. würde man nach und nach die relative Abdeckung einzelner Regeln (in der Reihenfolge des Lernens/der Decision List) in die verbleibenden Unterräume einzeichnen (wie z.B. in Übung 5 nur auf ROC transformiert). Bei 3. erzeugt man für eine Menge von Evaluierungsbeispiele ein Ranking der Beispiele und zeichnet diese wie in meinem vorherigen Beitrag und im Skript beschrieben ein.

Achtet also darauf, welche Anwendung und entsprechend welche AUC gemeint ist!

Antworten

Zurück zu „Archiv“