Seite 1 von 1

Decision Trees/Entropy for more classes

Verfasst: 19. Dez 2012 14:42
von blackcomb
Hallo,

in den Folien zum Entscheidungsbaum-Lernen vom 12.12. ist die Formel auf Seite 13, die auf den absoluten Zahlen \(c_i\) basiert, glaube ich nicht korrekt - sollte wohl eher heißen:

\(E\left(S\right) = -\frac{1}{\left| S \right|} \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + \mathrm{log}_2 \left| S \right|\)

-blackcomb

Re: Decision Trees/Entropy for more classes

Verfasst: 9. Jan 2013 11:35
von ChristianWirth
blackcomb hat geschrieben:Hallo,

in den Folien zum Entscheidungsbaum-Lernen vom 12.12. ist die Formel auf Seite 13, die auf den absoluten Zahlen \(c_i\) basiert, glaube ich nicht korrekt - sollte wohl eher heißen:

\(E\left(S\right) = -\frac{1}{\left| S \right|} \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + \mathrm{log}_2 \left| S \right|\)

-blackcomb
Ja, da hat sich ein Fehler eingeschlichen, korrekt wäre aber:

\(E\left(S\right) = -\frac{1}{\left| S \right|} ( \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) - |S| \mathrm{log}_2 \left| S \right| )\)

Edit: Correction

Re: Decision Trees/Entropy for more classes

Verfasst: 11. Jan 2013 16:28
von blackcomb
ChristianWirth hat geschrieben:Ja, da hat sich ein Fehler eingeschlichen, korrekt wäre aber:

\(E\left(S\right) = -\frac{1}{\left| S \right|} ( \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + |S| \mathrm{log}_2 \left| S \right| )\)
Bist du sicher? Das liefert seltsame Werte, z.B. E([2, 2]) = -3.
Wenn man das + durch ein - ersetzt, passt es.

Re: Decision Trees/Entropy for more classes

Verfasst: 14. Jan 2013 10:45
von ChristianWirth
blackcomb hat geschrieben:
ChristianWirth hat geschrieben:Ja, da hat sich ein Fehler eingeschlichen, korrekt wäre aber:

\(E\left(S\right) = -\frac{1}{\left| S \right|} ( \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + |S| \mathrm{log}_2 \left| S \right| )\)
Bist du sicher? Das liefert seltsame Werte, z.B. E([2, 2]) = -3.
Wenn man das + durch ein - ersetzt, passt es.
Do'h, du hast natürlich recht, da hat sich nen Tippfehler eingeschlichen. Corrected.