IR, F. 56: Macht "default accuracy" einen Sinn?

Moderator: Web Mining

Benutzeravatar
apulix
Endlosschleifenbastler
Endlosschleifenbastler
Beiträge: 152
Registriert: 21. Nov 2004 23:54
Wohnort: Darmstadt
Kontaktdaten:

IR, F. 56: Macht "default accuracy" einen Sinn?

Beitrag von apulix »

Im IR-Teil, F. 56 ist von einer "default accuracy" die Rede: "Accuracy must be interpreted relative to default accuracy (accuracy of the learner that always predicts majority class."

Mit dieser Aussage kann ich nicht so viel anfangen, da wir hier (bei einem System mit Indexer und Ranker) doch weder einen "Learner" noch "Classes" haben und ich wüsste keinen sinnvollen Weg, hier Klassen zu definieren. Can help?
Alumni-Netzwerk der TU Darmstadt: http://alumni.tu-darmstadt.de/ (auch für Studierende)

apfel
Mausschubser
Mausschubser
Beiträge: 84
Registriert: 22. Apr 2005 08:50

Re: IR, F. 56: Macht "default accuracy" einen Sinn?

Beitrag von apfel »

Man kann eine Suchmaschine für eine gegebene Suchanfrage q als einen binären Klassifizieren sehen, die Dir zusätzlich noch für die von ihr positiv klassifizierten Dokumente eine Ordnung liefert. Die positiv klassifizierten sind die Dokumente, die die Suchmaschine zurückgibt, die Negativen, die die man nicht zu sehen bekommt.

Wenn man davon ausgeht, das bekannt ist, welche Dokumente wirklich relvant bzgl. der Suchanfrage q sind und welche nicht, kann man wie gewohnt die Konfusion-Matrix aufstellen (Seite 55) und die accuracy berechnen. Das Problem ist, dass für typische q die allermeisten Dokumente nicht relevant sind. Die "default"-Suchemaschine, die einfach behauptet, dass kein Dokument für q relevant ist, wird bei den allermeisten Dokumenten richtig liegen, obwohl sie q gar nicht angesehen hat.

Lorenz

Benutzeravatar
apulix
Endlosschleifenbastler
Endlosschleifenbastler
Beiträge: 152
Registriert: 21. Nov 2004 23:54
Wohnort: Darmstadt
Kontaktdaten:

Re: IR, F. 56: Macht "default accuracy" einen Sinn?

Beitrag von apulix »

Okay, aber wieso spricht es gegen die Verwendung von Accuracy? Wenn man Recall und Precision ausrechnen kann, dann kann man auch die Default-Accuracy berechnen und in Beziehung zur Accuracy setzen. Oder was ist da genau das Problem mit der Accuracy, wenn wir davon ausgehen, dass für uns sowohl korrekte "a" als auch korrekte "d" Werte gleich wichtig sind, also der erste Nachteil vernachlässigt wird?
Alumni-Netzwerk der TU Darmstadt: http://alumni.tu-darmstadt.de/ (auch für Studierende)

apfel
Mausschubser
Mausschubser
Beiträge: 84
Registriert: 22. Apr 2005 08:50

Re: IR, F. 56: Macht "default accuracy" einen Sinn?

Beitrag von apfel »

Nehmen wir an, wir suchen auf einer Millionen Dokumente und Tausend sind für eine gegebene Anfrage relevant.
Dann kann ich über meine Suchmaschine sagen, dass sie eine Trefferquote von 99,9 Prozent hat, auch wenn es sich bei der Maschine eigentlich um meinen kaputten Toaster handelt. D.h. die interessanten Stellen kommen erst nach der dritten Stelle. Das ist doof. Hinzukommt, dass ich die accuracy des Toasters beliebig erhöhen kann, indem ich Dokumente in den Index aufnehme, von denen klar ist, dass sie nicht relevant für die Anfrage sind.

Lorenz
Zuletzt geändert von apfel am 3. Jul 2008 10:51, insgesamt 2-mal geändert.

mherrmann
Mausschubser
Mausschubser
Beiträge: 49
Registriert: 12. Nov 2005 10:10

Re: IR, F. 56: Macht "default accuracy" einen Sinn?

Beitrag von mherrmann »

Hi,

was kann ich mir denn unter einer "default accuracy" vorstellen? Gut zu wissen, dass ich eine Accuracy von 99,8% nichts besonderes ist. :)

Grüße

Xelord
Sonntagsinformatiker
Sonntagsinformatiker
Beiträge: 225
Registriert: 23. Okt 2004 09:49

Re: IR, F. 56: Macht "default accuracy" einen Sinn?

Beitrag von Xelord »

"default accuracy" ist die Accuracy, die eben bei der größten KLasse zurückgegeben wird. Also wie oben schocn geschrieben. Wenn ich nur noch in den Nachkommastellen entscheiden kann, ob es gut oder schlecht ist, dann ist die default accuracy recht hoch.

mherrmann hat geschrieben:Hi,

was kann ich mir denn unter einer "default accuracy" vorstellen? Gut zu wissen, dass ich eine Accuracy von 99,8% nichts besonderes ist. :)

Grüße

Antworten

Zurück zu „Web Mining“