Seite 1 von 1

Test-Framework für Triangle-Compiler

Verfasst: 20. Mai 2010 19:57
von Tobias
Für die Compiler steht ab jetzt ein Test-Framework bereit.

Das Framework soll beim Ausführen und Auswerten eurer Tests helfen. Packt dazu eine Konfigurationsdatei, einige Testprogramme und den Compiler-Quelltext zusammen in ein *.jar und ladet es auf der Seite hoch. Euer Compiler wird dann mit allen Testprogrammen gefüttert und ein paar Minuten später könnt ihr die Ergebnisse abrufen. Ein paar Testprogramme sind schon vorgegeben, alle weiteren Tests müsst ihr aber selber schreiben!

Die Zugangsdaten werden per Mail zugeschickt. Bei Fragen oder Problemen meldet euch am besten hier im Forum.

Re: Test-Framework für Triangle-Compiler

Verfasst: 20. Mai 2010 20:31
von m_gaber
klingt sehr nice, danke

Re: Test-Framework für Triangle-Compiler

Verfasst: 21. Mai 2010 13:51
von moep
läuft bei irgendwem heapsort?

ist das einzige was bei uns leider nicht ausgeführt werden kann

Re: Test-Framework für Triangle-Compiler

Verfasst: 21. Mai 2010 14:48
von Tobias
Heapsort ist kaputt (data-Array nicht initialisiert). Ich korrigiere das gleich.

Re: Test-Framework für Triangle-Compiler

Verfasst: 21. Mai 2010 15:14
von Edoat
Bei uns wird im Triangle-Tester unter Zusammenfassung nach dem Punkt "Automatische Tests" noch ein Punkt "Manuelle Tests" mit 3 Tests angezeigt. Die sind aber nicht manuell von uns hinzugefügt worden. Für dieses 3 Tests ist in der Zusammenfassung auch kein Ergebnis eingetragen.

In der Detailansicht ("Alle Tests") sind diese 3 Tests unter dem Punkt "Fehlererkennung" zu finden und mit einem roten Ausrufezeichen markiert. Was ist das erwartete Ergebnis für die Tests?

Re: Test-Framework für Triangle-Compiler

Verfasst: 21. Mai 2010 15:40
von Tobias
Die Tests zur Fehlererkennung dürfen nicht kompilierbar sein. Es wird kein Ergebnis eingetragen, weil der Tester (noch?) nicht erkennen kann, ob die Kompilierung auch aus dem richtigen Grund bzw. mit der richtigen Fehlermeldung abgebrochen wurde. Ihr müsst also selber beurteilen, ob der Testfall bestanden wurde oder nicht.

Ein Ausrufezeichen in der Detailübersicht oder auf den Detailseiten zeigt "echte" Fehler an. In diesem Fall gehört also eigentlich keines hin.

Re: Test-Framework für Triangle-Compiler

Verfasst: 2. Jun 2010 16:34
von Tobias
Der Server läuft jetzt wieder, nachdem er am Wochenende ausgefallen war.

Re: Test-Framework für Triangle-Compiler

Verfasst: 12. Jun 2010 11:04
von Tobias
Weil neulich jemand nachgefragt hatte, habe ich die zusätzlichen Fehlermeldungen dokumentiert, die mein Interpreter erzeugt.

Re: Test-Framework für Triangle-Compiler

Verfasst: 23. Jun 2010 10:09
von Tobias
Da das Framework nun schon eine Weile läuft, würden mich eure Erfahrungen damit interessieren. Was funktioniert gut, was könnte man besser machen?