Gibbs Sampling

Moderator: Algorithms of Language Technology

Seldon
BASIC-Programmierer
BASIC-Programmierer
Beiträge: 119
Registriert: 19. Apr 2012 18:12

Gibbs Sampling

Beitrag von Seldon »

Hallo,

Zum Giibbs Sampling für LDA in Foliensatz 8 zwei Fragen:

1. Auf Folie 44 wird im zweiten Nenner (# topics in Doc 1) noch 1 abgezogen, bei den konkreten Zahlen auf der nächsten Seite fehlt die allerdings?
2. Auf Folie 49 normalisieren wir pro Topic, ist das dann nicht eher eine topic word distribution anstatt einer word topic distribution?

riedl
Moderator
Moderator
Beiträge: 26
Registriert: 3. Apr 2013 12:25

Re: Gibbs Sampling

Beitrag von riedl »

Punkt1)
Die Foliennummern matchen nicht mit denen auf Moodle. Bei mir sind die Zahlen konsistent
Punkt 2)
man sollte es vllt. wirklich word-topic distribution nennen.

Seldon
BASIC-Programmierer
BASIC-Programmierer
Beiträge: 119
Registriert: 19. Apr 2012 18:12

Re: Gibbs Sampling

Beitrag von Seldon »

Ich habe meinen Denkfehler bei 1) gefunden :oops: . Man zählt im Nenner für den Document count im Gegensatz zu den drei anderen Counts den gelöschten mit - ich hatte da auch \(n^{(d)}_{k,-i}\) angenommen.

Antworten

Zurück zu „Algorithms of Language Technology“