Team gesucht: Solving Tetris with policy search

[Ankou]

Da uns aus vielen Richtungen geraten wurde möglichst früh nach BP-Themen Ausschau zu halten, haben meine Lerngruppe und ich uns mal nach interessanten Themen erkundigt. Leider gehen die Meinungen was denn interessant ist etwas auseinander so dass ich jetzt zwar ein interessantes Thema vor der Nase habe, aber keine Gruppe. Ich suche daher 3 Leute die Lust haben mit mir das Bachelorpraktikum zu machen, angestrebt werden sollte von allen die 1.0!
Ich kopier mal die Praktikumsbeschreibung aus der Mail von Professor Jan Peters:

Project: Solving TETRIS with Policy Search
Supervisor: Gerhard Neumann
Content: Implement and compare several policy search methods to
create optimally learning Tetris players.
Requirement: Some machine learning background, extremely good programming ability.

und noch ein paar interessante Antworten auf Fragen dazu:

> Anyway, the first project sounds very interesting to me. Could you give me an example for a policy search algorithm that could be implemented?

Policy Gradient Methods, EM-like Policy Search, Policy Search with the Cross-Entropy Method, Relative Entropy Policy Search
> And would we have to choose them ourselves or do you provide all the papers?

We can provide papers, and help!
> I would also like to know if everybody on the team needs to have a machine learning background or if it is enough if the knowledge is in the team, i.e. how is the machine learning to implementation ratio?

I think it is good but not essential if more members have a good ML background. But trying an algorithm is always the best way to understand it!

[robert.n]

Meine Einschätzung ist, dass solche Projekte eher nicht für das Bachelorpraktikum geeignet sind. Beim BP geht es doch eher um Software Engineering, also um Anforderungen und diese umzusetzen. Iterativ, agil, ...wie auch immer. Dabei soll man das Gelernte anwenden: Anforderungsanalyse, Use cases, User stories, Design patterns, ... und das ganze idealerweise auch mit sich ändernden Anforderungen. Das Ziel wird dabei sehr genau vom Auftraggeber vorgegeben.

Bei Policy Search für Tetris sehe ich nicht so recht, wo man diese Elemente unterbringen kann. Auf der einen Seite ist der ML-Anteil nicht zu verachten. Auf der anderen Seite ist der Forschungs-Teil hoch und der SE-Anteil niedrig: "implement and compare...". Es scheint mir nicht so sehr um Software Engineering zu gehen als um die Evaluation eines Verfahrens in einem bestimmten Anwendungsfall - das ist eher für eine Thesis geeignet oder ein gewöhnliches Praktikum. Und scheinbar wird es euch überlassen wie genau ihr das angehen wollt, ohne dass detailliertere Anforderungen von extern vorgegeben werden.

Kurz, ich glaube der Sinn des Bachelorpraktikums wird hier verfehlt.

---

Das Projekt an sich ist natürlich superinteressant und ich kann nur jedem empfehlen die Vorlesungen bei Peters zu hören. Machine Learning - Statistische Methoden 1 ist meiner Meinung nach die wertvollste Veranstaltung des gesamten Wahlpflichtbereichs.