Hallo,
in den Folien zum Entscheidungsbaum-Lernen vom 12.12. ist die Formel auf Seite 13, die auf den absoluten Zahlen \(c_i\) basiert, glaube ich nicht korrekt - sollte wohl eher heißen:
\(E\left(S\right) = -\frac{1}{\left| S \right|} \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + \mathrm{log}_2 \left| S \right|\)
-blackcomb
Decision Trees/Entropy for more classes
Moderator: Data Mining und Maschinelles Lernen
-
- Moderator
- Beiträge: 103
- Registriert: 23. Okt 2012 11:12
Re: Decision Trees/Entropy for more classes
Ja, da hat sich ein Fehler eingeschlichen, korrekt wäre aber:blackcomb hat geschrieben:Hallo,
in den Folien zum Entscheidungsbaum-Lernen vom 12.12. ist die Formel auf Seite 13, die auf den absoluten Zahlen \(c_i\) basiert, glaube ich nicht korrekt - sollte wohl eher heißen:
\(E\left(S\right) = -\frac{1}{\left| S \right|} \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + \mathrm{log}_2 \left| S \right|\)
-blackcomb
\(E\left(S\right) = -\frac{1}{\left| S \right|} ( \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) - |S| \mathrm{log}_2 \left| S \right| )\)
Edit: Correction
Re: Decision Trees/Entropy for more classes
Bist du sicher? Das liefert seltsame Werte, z.B. E([2, 2]) = -3.ChristianWirth hat geschrieben:Ja, da hat sich ein Fehler eingeschlichen, korrekt wäre aber:
\(E\left(S\right) = -\frac{1}{\left| S \right|} ( \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + |S| \mathrm{log}_2 \left| S \right| )\)
Wenn man das + durch ein - ersetzt, passt es.
-
- Moderator
- Beiträge: 103
- Registriert: 23. Okt 2012 11:12
Re: Decision Trees/Entropy for more classes
Do'h, du hast natürlich recht, da hat sich nen Tippfehler eingeschlichen. Corrected.blackcomb hat geschrieben:Bist du sicher? Das liefert seltsame Werte, z.B. E([2, 2]) = -3.ChristianWirth hat geschrieben:Ja, da hat sich ein Fehler eingeschlichen, korrekt wäre aber:
\(E\left(S\right) = -\frac{1}{\left| S \right|} ( \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + |S| \mathrm{log}_2 \left| S \right| )\)
Wenn man das + durch ein - ersetzt, passt es.