Decision Trees/Entropy for more classes

[blackcomb]

Hallo,

in den Folien zum Entscheidungsbaum-Lernen vom 12.12. ist die Formel auf Seite 13, die auf den absoluten Zahlen \(c_i\) basiert, glaube ich nicht korrekt - sollte wohl eher heißen:

\(E\left(S\right) = -\frac{1}{\left| S \right|} \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + \mathrm{log}_2 \left| S \right|\)

-blackcomb

[ChristianWirth]

Hallo,

in den Folien zum Entscheidungsbaum-Lernen vom 12.12. ist die Formel auf Seite 13, die auf den absoluten Zahlen \(c_i\) basiert, glaube ich nicht korrekt - sollte wohl eher heißen:

\(E\left(S\right) = -\frac{1}{\left| S \right|} \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + \mathrm{log}_2 \left| S \right|\)

-blackcomb

Ja, da hat sich ein Fehler eingeschlichen, korrekt wäre aber:

\(E\left(S\right) = -\frac{1}{\left| S \right|} ( \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) - |S| \mathrm{log}_2 \left| S \right| )\)

Edit: Correction

[blackcomb]

Ja, da hat sich ein Fehler eingeschlichen, korrekt wäre aber:

\(E\left(S\right) = -\frac{1}{\left| S \right|} ( \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + |S| \mathrm{log}_2 \left| S \right| )\)

Bist du sicher? Das liefert seltsame Werte, z.B. E([2, 2]) = -3.
Wenn man das + durch ein - ersetzt, passt es.

[ChristianWirth]

Ja, da hat sich ein Fehler eingeschlichen, korrekt wäre aber:

\(E\left(S\right) = -\frac{1}{\left| S \right|} ( \sum^n_{i=1} \left( c_i \mathrm{log}_2 c_i \right) + |S| \mathrm{log}_2 \left| S \right| )\)

Bist du sicher? Das liefert seltsame Werte, z.B. E([2, 2]) = -3.
Wenn man das + durch ein - ersetzt, passt es.

Do'h, du hast natürlich recht, da hat sich nen Tippfehler eingeschlichen. Corrected.