Entropie - Vereinfachte Berechnung

Moderator: Data Mining und Maschinelles Lernen

rindphi
Mausschubser
Mausschubser
Beiträge: 55
Registriert: 3. Sep 2009 20:52
Kontaktdaten:

Entropie - Vereinfachte Berechnung

Beitrag von rindphi » 15. Feb 2014 17:43

Hallo!

Im Foliensatz "Entscheidungsbaum-Lernen" wird auf Folie 13 ein vereinfachte Berechnung für die Entropie vorgegeben, die ich nicht ganz nachvollziehen kann.
Meiner Meinung nach gilt

\(-\sum p_i \log p_i = -\sum {c_i \over |S|} \log {c_i \over |S|} = -|S| \sum c_i \log {c_i \over |S|} = -|S| \sum c_i (\log c_i - \log |S|) = -|S| \sum (c_i \log c_i - c_i \log |S|)\)

und nicht, wie in den Folien,

\(-\sum p_i \log p_i = -|S| \sum( c_i \log c_i - |S| \log |S|)\)

Ansonsten könnte man den rechten Teil der Differenz ja auch mit dem Faktor \(i\) herausziehen und die Rechnung noch weiter vereinfachen... Oder liege ich irgendwo falsch?

ChristianWirth
Moderator
Moderator
Beiträge: 103
Registriert: 23. Okt 2012 11:12

Re: Entropie - Vereinfachte Berechnung

Beitrag von ChristianWirth » 17. Feb 2014 11:30

Hi,

die Formel in den Folien sieht doch ein bisschen anders aus:

\(-\sum p_i \log p_i = -\frac{1}{|S|} (\sum c_i \log c_i - |S| \log |S|)\)

Das \(|S| \log |S|\) ist nicht Teil der Summe, also rausgezogen. Direkt darunter (s.13) ist auch ein kurzes Rechenbeispiel wo das vielleicht besser ersichtlich wird.

Antworten

Zurück zu „Data Mining und Maschinelles Lernen“