Folien Aktualisierung

Moderator: Einführung in die Künstliche Intelligenz

bongo
Neuling
Neuling
Beiträge: 9
Registriert: 23. Apr 2017 11:34

Folien Aktualisierung

Beitrag von bongo » 10. Jul 2018 14:05

Hallo,

leider sind mindestens die Folien zur vergangenen Vorlesung heute noch nicht aktualisiert auf der Kursseite. Ich würde mich freuen wenn dies noch zeitnah passieren und darauf hingewiesen würde auf der Seite.

Sind die anderen älteren Foliensätze denn jetzt konsistent aktuell? Werden denn die Versionszähler auf den Foliensätzen aktualisiert sobald eine Änderung während der Vorlesungszeit gemacht wurde? Es ist schwer den Überblick zu behalten ohne dass zusätzlich neben den Links vermerkt wird wann etwas aktualisiert wurde.

Ich habe beispielsweise (offenbar vor einer Aktualisierung) einen Foliensatz "search-adversarial" heruntergeladen in dem auf dem ersten Slide "V2.1" steht, ab dem zweiten dann "V2.0". Mich verwirrt das etwas, v.a. weiß ich nun nicht ob ich meine Markierungen aus dem Alten übertragen muss oder nicht etc.

BTW: Der Foliensatz "search-contraints" hat überhaupt keine Versionsnummer.

[Update]: Noch eine Anmerkung: in dem Foliensatz reinforcement-learning gibt es im Inhaltsverzeichnis "Value Iteration", das Verfahren wird aber später nicht mehr erklärt bzw. benannt. Das erscheint mir inkonsistent zu sein.

Danke und beste Grüße

Tobias Joppen
Mausschubser
Mausschubser
Beiträge: 44
Registriert: 20. Feb 2017 15:08

Re: Folien Aktualisierung

Beitrag von Tobias Joppen » 16. Jul 2018 10:23

Hallo,
es sollte alles aktuell sein. Die Versionsnummern ändern sich pro Seite, nicht pro Dokument - so lassen sich Änderungen auch schneller finden.

Jannis
Mausschubser
Mausschubser
Beiträge: 63
Registriert: 15. Apr 2015 17:10

Re: Folien Aktualisierung

Beitrag von Jannis » 16. Jul 2018 11:23

bongo hat geschrieben:
10. Jul 2018 14:05
[...]
[Update]: Noch eine Anmerkung: in dem Foliensatz reinforcement-learning gibt es im Inhaltsverzeichnis "Value Iteration", das Verfahren wird aber später nicht mehr erklärt bzw. benannt. Das erscheint mir inkonsistent zu sein.
[...]
Den Abschnitt habe ich auf Folie 16 von einem alten Foliensatz gefunden: http://www.ke.tu-darmstadt.de/lehre/arc ... arning.pdf. Der Unterschied zur Policy Iteration ist scheinbar nur, dass man sich hier nur die Werte speichert statt eine Policy anzupassen. Der große Nachteil scheint mir zu sein, dass man dann am Ende eben auch keine Policy hat und eigentlich gar nicht weiß, was denn nun die optimalen Aktionen sind.
Das könnte man sich aber während der Value Iteration auch merken, indem man einfach für jeden Zustand die Aktion speichert, die das Maximum geliefert hat.

Und meiner Meinung nach ist das, was der Value Iteration zur Rekonstruktion der Policy fehlt, dann durch die die Optimal Q Function gegeben (nur etwas komplizierter da man zur Wahl einer Aktion in einem Zustand s sich erst alle Q(s, a)-Werte anschauen muss und dann das Maximum nimmt).

Lorenz123
Erstie
Erstie
Beiträge: 14
Registriert: 12. Apr 2018 15:21

Re: Folien Aktualisierung

Beitrag von Lorenz123 » 18. Jul 2018 08:28

Jannis hat geschrieben:
16. Jul 2018 11:23
bongo hat geschrieben:
10. Jul 2018 14:05
[...]
[Update]: Noch eine Anmerkung: in dem Foliensatz reinforcement-learning gibt es im Inhaltsverzeichnis "Value Iteration", das Verfahren wird aber später nicht mehr erklärt bzw. benannt. Das erscheint mir inkonsistent zu sein.
[...]
Den Abschnitt habe ich auf Folie 16 von einem alten Foliensatz gefunden: http://www.ke.tu-darmstadt.de/lehre/arc ... arning.pdf. Der Unterschied zur Policy Iteration ist scheinbar nur, dass man sich hier nur die Werte speichert statt eine Policy anzupassen. Der große Nachteil scheint mir zu sein, dass man dann am Ende eben auch keine Policy hat und eigentlich gar nicht weiß, was denn nun die optimalen Aktionen sind.
Das könnte man sich aber während der Value Iteration auch merken, indem man einfach für jeden Zustand die Aktion speichert, die das Maximum geliefert hat.

Und meiner Meinung nach ist das, was der Value Iteration zur Rekonstruktion der Policy fehlt, dann durch die die Optimal Q Function gegeben (nur etwas komplizierter da man zur Wahl einer Aktion in einem Zustand s sich erst alle Q(s, a)-Werte anschauen muss und dann das Maximum nimmt).
So wie ich es verstanden habe, wird bei der Policy Iteration wiederholt eine Policy Evaluierung gefolgt von einer Policy Verbesserung durchgeführt. Bis am Ende die optimale Policy konvergiert.

Während bei der Value Iteration die optimale Value Function gefunden wird und am Ende die Policy geupdatet wird, da diese bei einer optimalen Value Function auch optimal sein sollte.

bongo
Neuling
Neuling
Beiträge: 9
Registriert: 23. Apr 2017 11:34

Re: Folien Aktualisierung

Beitrag von bongo » 25. Jul 2018 10:33

Tobias Joppen hat geschrieben:
16. Jul 2018 10:23
Hallo,
es sollte alles aktuell sein. Die Versionsnummern ändern sich pro Seite, nicht pro Dokument - so lassen sich Änderungen auch schneller finden.
Ich glaube nicht, dass die Folien komplett aktuell sind, in der Vorlesung zu Bayesian Networks - Inference kamen einige Beispielslides (grün auf schwarzem Hintergrund) die sich nicht in dem hochgeladenen Foliensatz finden. Sie schienen aus der Vorlesung PGM zu stammen wie ich bei einem Kommilitonen sah.

Tobias Joppen
Mausschubser
Mausschubser
Beiträge: 44
Registriert: 20. Feb 2017 15:08

Re: Folien Aktualisierung

Beitrag von Tobias Joppen » 25. Jul 2018 17:33

Es gibt keine Frage in der Klausur, die sich auf etwas nicht hochgeladenes bezieht.
Ich kann nicht nachvollziehen was da fehlen könnte - aber es wird nicht wichtig sein.

Entschuldigt, wenn da etwas schief gegangen ist.

bongo
Neuling
Neuling
Beiträge: 9
Registriert: 23. Apr 2017 11:34

Re: Folien Aktualisierung

Beitrag von bongo » 25. Jul 2018 20:58

Alles klar, danke für die Rückmeldung. Ich nehme an das war ein Teil den Herr Kersting noch etwas kurzfristig eingefügt hat. Es wäre aber sicher wünschenswert wenn es für nächstes Jahr dann drin sein könnte :)

Antworten

Zurück zu „Einführung in die Künstliche Intelligenz“