Decision Trees/Entropy for more classes

Moderator: Data Mining und Maschinelles Lernen

Benutzeravatar
blackcomb
Mausschubser
Mausschubser
Beiträge: 70
Registriert: 1. Okt 2007 15:48
Wohnort: Darmstadt

Decision Trees/Entropy for more classes

Beitrag von blackcomb »

Hallo,

in den Folien zum Entscheidungsbaum-Lernen vom 12.12. ist die Formel auf Seite 13, die auf den absoluten Zahlen \(c_i\) basiert, glaube ich nicht korrekt - sollte wohl eher heißen:

\(E\left(S\right) = -\frac{1}{\left| S \right|} \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + \mathrm{log}_2 \left| S \right|\)

-blackcomb

ChristianWirth
Moderator
Moderator
Beiträge: 103
Registriert: 23. Okt 2012 11:12

Re: Decision Trees/Entropy for more classes

Beitrag von ChristianWirth »

blackcomb hat geschrieben:Hallo,

in den Folien zum Entscheidungsbaum-Lernen vom 12.12. ist die Formel auf Seite 13, die auf den absoluten Zahlen \(c_i\) basiert, glaube ich nicht korrekt - sollte wohl eher heißen:

\(E\left(S\right) = -\frac{1}{\left| S \right|} \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + \mathrm{log}_2 \left| S \right|\)

-blackcomb
Ja, da hat sich ein Fehler eingeschlichen, korrekt wäre aber:

\(E\left(S\right) = -\frac{1}{\left| S \right|} ( \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) - |S| \mathrm{log}_2 \left| S \right| )\)

Edit: Correction

Benutzeravatar
blackcomb
Mausschubser
Mausschubser
Beiträge: 70
Registriert: 1. Okt 2007 15:48
Wohnort: Darmstadt

Re: Decision Trees/Entropy for more classes

Beitrag von blackcomb »

ChristianWirth hat geschrieben:Ja, da hat sich ein Fehler eingeschlichen, korrekt wäre aber:

\(E\left(S\right) = -\frac{1}{\left| S \right|} ( \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + |S| \mathrm{log}_2 \left| S \right| )\)
Bist du sicher? Das liefert seltsame Werte, z.B. E([2, 2]) = -3.
Wenn man das + durch ein - ersetzt, passt es.

ChristianWirth
Moderator
Moderator
Beiträge: 103
Registriert: 23. Okt 2012 11:12

Re: Decision Trees/Entropy for more classes

Beitrag von ChristianWirth »

blackcomb hat geschrieben:
ChristianWirth hat geschrieben:Ja, da hat sich ein Fehler eingeschlichen, korrekt wäre aber:

\(E\left(S\right) = -\frac{1}{\left| S \right|} ( \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + |S| \mathrm{log}_2 \left| S \right| )\)
Bist du sicher? Das liefert seltsame Werte, z.B. E([2, 2]) = -3.
Wenn man das + durch ein - ersetzt, passt es.
Do'h, du hast natürlich recht, da hat sich nen Tippfehler eingeschlichen. Corrected.

Antworten

Zurück zu „Data Mining und Maschinelles Lernen“