Test-Framework für Triangle-Compiler

[Tobias]

Für die Compiler steht ab jetzt ein Test-Framework bereit.

Das Framework soll beim Ausführen und Auswerten eurer Tests helfen. Packt dazu eine Konfigurationsdatei, einige Testprogramme und den Compiler-Quelltext zusammen in ein *.jar und ladet es auf der Seite hoch. Euer Compiler wird dann mit allen Testprogrammen gefüttert und ein paar Minuten später könnt ihr die Ergebnisse abrufen. Ein paar Testprogramme sind schon vorgegeben, alle weiteren Tests müsst ihr aber selber schreiben!

Die Zugangsdaten werden per Mail zugeschickt. Bei Fragen oder Problemen meldet euch am besten hier im Forum.

[m_gaber]

klingt sehr nice, danke

[moep]

läuft bei irgendwem heapsort?

ist das einzige was bei uns leider nicht ausgeführt werden kann

[Tobias]

Heapsort ist kaputt (data-Array nicht initialisiert). Ich korrigiere das gleich.

[Edoat]

Bei uns wird im Triangle-Tester unter Zusammenfassung nach dem Punkt "Automatische Tests" noch ein Punkt "Manuelle Tests" mit 3 Tests angezeigt. Die sind aber nicht manuell von uns hinzugefügt worden. Für dieses 3 Tests ist in der Zusammenfassung auch kein Ergebnis eingetragen.

In der Detailansicht ("Alle Tests") sind diese 3 Tests unter dem Punkt "Fehlererkennung" zu finden und mit einem roten Ausrufezeichen markiert. Was ist das erwartete Ergebnis für die Tests?

[Tobias]

Die Tests zur Fehlererkennung dürfen nicht kompilierbar sein. Es wird kein Ergebnis eingetragen, weil der Tester (noch?) nicht erkennen kann, ob die Kompilierung auch aus dem richtigen Grund bzw. mit der richtigen Fehlermeldung abgebrochen wurde. Ihr müsst also selber beurteilen, ob der Testfall bestanden wurde oder nicht.

Ein Ausrufezeichen in der Detailübersicht oder auf den Detailseiten zeigt "echte" Fehler an. In diesem Fall gehört also eigentlich keines hin.

[Tobias]

Der Server läuft jetzt wieder, nachdem er am Wochenende ausgefallen war.

[Tobias]

Weil neulich jemand nachgefragt hatte, habe ich die zusätzlichen Fehlermeldungen dokumentiert, die mein Interpreter erzeugt.

[Tobias]

Da das Framework nun schon eine Weile läuft, würden mich eure Erfahrungen damit interessieren. Was funktioniert gut, was könnte man besser machen?