Unmut über das Testatsystem

Benutzeravatar
R|ng0
Mausschubser
Mausschubser
Beiträge: 71
Registriert: 24. Dez 2006 19:17

Beitrag von R|ng0 »

ykaerflila hat geschrieben: [...] Hatten die nicht auch so ein Testatsystem in Blacksburg, Virginia? :lol:
Ich möchte auch noch mal zum Ausdruck bringen, dass das nicht nur sehr daneben ist, sondern auch eine sehr gefährliche Aussage!
[...] Die Polizei rät zu erhöhter Wachsamkeit und empfiehlt, auffällige Wahrnehmungen vertraulich zu melden. [...]
Vielleicht sollte ich Anmerken, dass dies eine Aussage im Zusammenhang eines Amoklaufs an einer deutschen Schule war.

Benutzeravatar
Ottifanti
BASIC-Programmierer
BASIC-Programmierer
Beiträge: 113
Registriert: 22. Nov 2005 15:49

Beitrag von Ottifanti »

Also ich möchte zu den fehlerhaften Eingaben nur anmerken, dass das Verhalten bei fehlerhafter Eingabe eben nicht so ganz eindeutig ist:
Zum Beispiel könnte einer, der die Datei ganz kritisch einliest bei drei Parametern in der ersten Zeile einfach weiter machen und den dritten Parameter ignorieren, während ein anderer bei drei Parametern in der ersten Zeile eine FileFormatException wirft. In einem solchen Fall finde ich persönlich beide Verhalten absolut richtig und ehrlich gesagt die nicht so kritische Prüfung sogar noch besser, als eine kritische Prüfung. (Ich weiß nicht, ob so ein Test durchgeführt wurde.)

Desweiteren hatte ich diesmal das Problem, dass im zweiten Durchlauf alle(!) Tests der Veranstalter durchliefen (die Fehler im ersten waren auf IndexOutOfBoundsExceptions zurückzuführen, die ich warf, während sich die Aufgabenstellung ohne mein Wissen verändert hat!), meine eigenen "NoTest"-Tests liefen nicht durch, weil der Pfad zu den test-txt-Dateien nicht richtig war, wobei mir der richtige Pfad immer noch nicht ersichtlich ist.

Aber insgesamt finde ich das Testsystem in der jetzigen Version nicht so schlimm und wenn man rechtzeitig anfängt auch gut schaffbar.
Einziger Kritikpunkt wäre von meiner Seite, dass man eine Lösung, die man eingeschickt hat, noch verändern können sollte, auch wenn sie noch nicht getestet ist.
Mostly harmless

HolgerF
Sonntagsinformatiker
Sonntagsinformatiker
Beiträge: 263
Registriert: 16. Jan 2007 14:20
Kontaktdaten:

Beitrag von HolgerF »

Zum Beispiel könnte einer, der die Datei ganz kritisch einliest bei drei Parametern in der ersten Zeile einfach weiter machen und den dritten Parameter ignorieren, während ein anderer bei drei Parametern in der ersten Zeile eine FileFormatException wirft. In einem solchen Fall finde ich persönlich beide Verhalten absolut richtig und ehrlich gesagt die nicht so kritische Prüfung sogar noch besser, als eine kritische Prüfung. (Ich weiß nicht, ob so ein Test durchgeführt wurde.)
Man kann durchaus darüber streiten, ob man Eingaben, die zusätzlichen Garbage enthalten, der für den Ablauf des Programms unwichtig ist, zulassen soll, oder nicht. Auch könnte man z. B. gerade bei dieser Aufgabe das Format etwas lockerer halten, indem man nicht notwendigerweise eine neue Zeile für die nächste Kante erzwingt (weil ihr Anfang durch das e ja sowieso gekennzeichnet ist). Wenn man so ein Programm selbst entwirft, sind das alles zulässige und sinnvolle Überlegungen, für die es kein richtig oder falsch als Antwort gibt.
Aber in der Aufgabe war klar gesagt, dass Abweichungen vom vorgegebenen Format als Fehler zu werten sind, da gibt es eigentlich nichts zu deuteln ;) (ok, das mit der IndexOutOfBoundsException schon, das war irgendwie ein bisschen blöd).

Benutzeravatar
Ottifanti
BASIC-Programmierer
BASIC-Programmierer
Beiträge: 113
Registriert: 22. Nov 2005 15:49

Beitrag von Ottifanti »

@HolgerF: Ja, das stimmt schon, aber ist zum Beispiel die Zeile "e 1 2 3 " nun kritisch geprüft zugelassen, oder nicht?
Ich meine nur, dass das Format nicht wirklich *genau* vorgegeben ist, möchte allerdings anmerken, dass ich nicht weiß, ob eine solche Abweichung überhaupt getestet wurde. (und folglich die Diskussion ein bisschen "philosophisch" ist)
Mostly harmless

Benutzeravatar
Red*Star
Kernelcompilierer
Kernelcompilierer
Beiträge: 510
Registriert: 28. Nov 2006 19:40

Beitrag von Red*Star »

Hm, wie wär's, wenn uns das Dateiformat das nächste Mal in Backus Naur Form vorgegeben wird? :lol:

Daran wär dann eigentlich nichts mehr mehrdeutig. Wäre diesmal sogar relativ kurz:

Code: Alles auswählen

filecontent ::= nodecount " " edgecount "\n" derganzerest
derganzerest ::= { "e " startnode " " endnode " " weight "\n" }

nodecount ::= number
edgecount ::= ...
usw.
Dann müsste dann noch die Semantik irgendwie erklärt werden (gibt's bestimmt auch irgendwas Backus-Naur-Form-ähnliches-standardisiertes für) und das wär's ;)

@Exceptions:
Einige Grenzfälle sind aber nicht immer 100% klar gewesen, finde ich. Z.B. könnte man darüber streiten, ob eine -1 als Knoteninfo jetzt ein Fehler im Dateiformat (-> FileFormatException) ist oder ein Fehler des Graphen (-> wasweißichException). Hm, naja, blödes Beispiel... ihr wisst aber sicherlich, was ich meine.
Was Sonnenschein für das schwarze Erdreich ist,
ist wahre Aufklärung für die Verwandten des Erdreichs.

- N.F.S. Grundtvig

HolgerF
Sonntagsinformatiker
Sonntagsinformatiker
Beiträge: 263
Registriert: 16. Jan 2007 14:20
Kontaktdaten:

Beitrag von HolgerF »

Dann kann man ja aber immer noch fragen, wie hier ja oft genug getan wurde, und man hat noch immer eine Antwort gekriegt ;)

persiansam
Erstie
Erstie
Beiträge: 17
Registriert: 22. Okt 2006 17:39
Kontaktdaten:

Beitrag von persiansam »

Ich finds auch unfair, das mit dem Testatsystem. Mein erstes Praktikum was leider FAILED ist :-(. Ich habe einen Kumpel gefragt und der hatte nur eine Exception mehr gefangen als ich und hat sein letztes Upload 10 min vor Ende PASSED bekommen. Freue mich für ihn. Er hat die Chance 10 Pkt zu bekommen und ich kann kein einzigen Punkt bekommen. Und habe schon 20 Stunden gesessen und alles für die Katz, weil ich ein Exception übersehen habe. Deswegen finde ich das Testatsystem auch nicht fair. Habe nur bei Illegal Argument 1.txt Fehler gehabt. Gdi 1 konnte man seinem Tutor eine Mail schicken und wenn man ein Test nicht bestanden hat hat man auch Punkteabzüge bekommen und das war sehr fair.

Benutzeravatar
Red*Star
Kernelcompilierer
Kernelcompilierer
Beiträge: 510
Registriert: 28. Nov 2006 19:40

Beitrag von Red*Star »

Hachja, wie schön waren doch die guten alten Zeiten, in denen das Leben noch gerecht und sowieso alles besser als heute war. Als man noch nicht auf so hohem Niveau nörgelte wie heute, weil man sich gefreut hat, dass das Feuer brannte, die Ernte keine Missernte war, so dass nach der Abgabe des Zehnten ausnahmsweise mal genug für die eigene Familie übriggeblieben ist.

Versteht mich nicht falsch: Ich kann mir vorstellen, dass man sich scheiße oder sogar verarscht fühlt, wenn man nach 20 Stunden Arbeit keinen Punkt sieht.
Andererseits ist das hier die Gelegenheit, sich daran zu gewöhnen: Das Leben ist nun mal unfair. Irgendwer ist immer besser dran als man selbst. Also macht was draus, jault net rum, und setzt eure Energie für was sinnvolles ein.
Was Sonnenschein für das schwarze Erdreich ist,
ist wahre Aufklärung für die Verwandten des Erdreichs.

- N.F.S. Grundtvig

murri
Endlosschleifenbastler
Endlosschleifenbastler
Beiträge: 196
Registriert: 20. Nov 2005 21:18

Beitrag von murri »

Das Leben ist nun mal unfair
wir können hier noch Stunden über unsern "Freund" deepthought diskutieren.
Vielleicht sollten wir (also vielleicht 5 Studenten) uns mal mit dem Veranstalter zusammen setzen und einfach mal Feedback geben und sachlich und konstruktiv Vorschläge zur Verbesserung oder Änderung geben.

Logisch gibt es immer Leute die es schaffen und keine Probleme damit haben, aber es sollte vielleicht auch ein wenig mehr auf die etwas schwächeren und deren Probleme eingegangen werden.

Machbar ist es auf jeden fall, aber es sollte doch in einem zeitlichen Rahmen bleiben. Momentan nimmt es einfach zu viel Zeit weg.

Schönes Wochenende miteinander...

Benutzeravatar
Panulli
BASIC-Programmierer
BASIC-Programmierer
Beiträge: 110
Registriert: 20. Apr 2005 07:20

Beitrag von Panulli »

sonothar hat geschrieben:
wach hat geschrieben:Sie haben die Möglichkeit nachzubessern. Es ist ja nicht so, dass Sie nur einmal hochladen können.
ich hatte diese möglichkeit nicht mehr, da ich mein praktikum am samstag hochgeladen habe und es hat die test bestanden. dann hab ich aber bemerkt, dass mein topdown nicht linear war.
ich hab zwar mein praktikum noch korrigiert, nur konnte ich die richtige lösung nicht mehr hochladen.
tolles system!!!
und beim testat wollte ich der tutorin die richtige lösung zeigen, aber die wollte net und ich hab nen punktabzug bekommen :evil:
Das ist halt auch sowas. Ich sitze stundenlang vor dem Rechner und schaue das der Algo richtig läuft und im Endeffekt werde ich nicht zum Testat zugelassen, weil von den 10 Tests, EINER nicht läuft...nicht etwas Test_1, Test_2 o.ä., nein, illegal_1...you accept illegal arguments....versteh mich nicht falsch, ist nicht gegen dich gerichtet....mit einem Algo, der nicht linear ist, was eindeutig in der Aufgabenstellung gefordert war, wird man zum Testat zugelassen...und bekommt halt Punktabzug.....und wenn man eine unkorrekte Eingabe nicht abfängt, ist Nüsse?!?!? 25-30 Stunde coden, debuggen,testen...algo korrekt implementiert, verstanden, jede menge gelernt.....aber leider kein Testat....
Grüßlich ULI

http://www.SGE4ever.de

Benutzeravatar
Antragon
Mausschubser
Mausschubser
Beiträge: 78
Registriert: 26. Okt 2005 13:09
Kontaktdaten:

Beitrag von Antragon »

Zum Thema "Unmut":

...so sieht aktuell mein Testsystem aus: *G*

Code: Alles auswählen

2007-05-17 17:25:28 	Download your submission 	FAILED 	View Results
2007-05-17 23:40:52 	Download your submission 	NOT TESTED 	
2007-05-18 09:41:06 	Download your submission 	NOT TESTED 	
...die 2. Einsendung war vorhin (wie erwartet) mit "Failed" getestet worden und danach hatte ich meine finale Lösung eingeschickt.

Auf einmal sagt das testsystem, dass die zuvor "failed" getestete Einsendung wieder "not tested" ist...

Jetzt habe ich zwei "not tested" Einsendungen....

HÄÄÄÄÄÄÄÄÄÄÄ????????!!!!!!!!????????????

...na da bin ich ja mal gespannt ob das das Testsystem verdauen kann...

j0chen
Erstie
Erstie
Beiträge: 22
Registriert: 24. Apr 2007 19:23
Wohnort: Riedstadt
Kontaktdaten:

Beitrag von j0chen »

Das ist halt auch sowas. Ich sitze stundenlang vor dem Rechner und schaue das der Algo richtig läuft und im Endeffekt werde ich nicht zum Testat zugelassen, weil von den 10 Tests, EINER nicht läuft...nicht etwas Test_1, Test_2 o.ä., nein, illegal_1...you accept illegal arguments....versteh mich nicht falsch, ist nicht gegen dich gerichtet....mit einem Algo, der nicht linear ist, was eindeutig in der Aufgabenstellung gefordert war, wird man zum Testat zugelassen
beim 3. Praktikum war das sogar noch etwas extremer. man hätte ja auch 2 mal topdown (oder 2 mal buttom up) implementieren können. das bekommt das testsystem nicht mit. ich persönlich habe bei einer exception auch etwas "getrickst" und letztendlich 7min vor schluss passed.. ob's dem tutor auffällt.. abwarten ;)

@Antragon: wenn mich nicht alles täuscht war abgabe schluss ab 17.5. um 17h. wird wohl deshalb nicht geklappt haben (!?)

Benutzeravatar
mcreichelt
Windoof-User
Windoof-User
Beiträge: 26
Registriert: 2. Mai 2007 19:23
Wohnort: Darmstadt
Kontaktdaten:

Beitrag von mcreichelt »

Hallo an alle!

Beim ersten Praktikum habe ich auch gewissermaßen mehr nach der Methode 'Einsenden und ausprobieren' gearbeitet (und entsprechend viele 'FAILED' Ergebnisse gehabt).
Nachdem ich bereits den 3. Testversuch FAILED hatte, habe ich mir eine eigene Testklasse geschrieben.
Dadurch habe ich das 1. Praktikum dann doch noch bestanden.

Beim zweiten Praktikum habe ich gleich zu Beginn eine Testklasse geschrieben (Test_Praktikum_2.java, als ZIP-Datei im Anhang - dürfte für die Veranstalter ok sein, da die Aufgabe ja bereits vorbei ist).

Die Testklasse kopiert man sich einfach in das entsprechende Verzeichnis hinein, wo auch die zu testende Klasse liegt. Dann muss man noch JUnit 4 zum Build-Pfad hinzufügen (bei Eclipse ganz einfach: Rechtsklick auf Projekt => Properties => Java Build Path => Libraries => Add Library => JUnit => JUnit 4 => Finish).

Den Test startet man dann mit Rechtsklick auf die Testklasse => Run As => JUnit Test.

Und in diesem Test testet man wirklich _alle_ Vorgaben irgendwie aus: Man weiß, was man reinsteckt und was rauskommen soll. Die Testklasse wird hier vielleicht ein wenig unübersichtlich, aber sei's drum. ;-)

Jedenfalls habe ich auf diese Methode das dritte Praktikum verdammt schnell hinbekommen (und auch früh genug damit angefangen).


Das mal so schnell als Einstieg für diejenigen, die mit Eclipse arbeiten und Probleme mit den Tests haben. :-)

Freundliche Grüße
Marc
Dateianhänge
Test_Praktikum_2.java.zip
(1.38 KiB) 11-mal heruntergeladen
Den Benutzern anderer Betriebssysteme wie Linux oder OS/2 unterstellen
wir die nötigen Grundkenntnisse [...]
-- "T-DSL Montage- und Betriebsanleitung", Kapitel 6

Christoph B
Computerversteher
Computerversteher
Beiträge: 370
Registriert: 15. Okt 2006 18:28
Wohnort: Wiesbaden
Kontaktdaten:

Beitrag von Christoph B »

hmm, scheint das dieses mal mehr leute als sonst das Praktikum 3 nicht passed haben, gäbs vielleicht die möglichkeit für eine allerletzte Einsendung noch? Irgendwie dann und dann nochmal 30 Minuten den Upload freischalten?
Wäre bei mir der Unterschied zwischen 0 und 10 Punkten fürs Praktikum ^^

Benutzeravatar
Antragon
Mausschubser
Mausschubser
Beiträge: 78
Registriert: 26. Okt 2005 13:09
Kontaktdaten:

Beitrag von Antragon »

j0chen hat geschrieben: @Antragon: wenn mich nicht alles täuscht war abgabe schluss ab 17.5. um 17h. wird wohl deshalb nicht geklappt haben (!?)
Es handelte sich bei mir um das 4. Praktikum...

Kurz nachdem ich das hier im Forum geschrieben hatte waren dann beide Einsendungen bei mir getestet (failed)...

Naja... mittlerweile hab ich das 4. Praktikum "passed".

Aber trotz allem: Nach dieser "Aktion" traue ich dem Testsystem noch weniger als vorher...
Und was mich vor allem stört: Man kann keine "neue" Lösung einsenden solange das alte nicht getestet/failed ist. Auch gerade dass man keine verbesserte Lösung hochladen kann nachdem man "passed" ist ist mal verdammt unpraktisch! -> Beim letzten Praktikum ist mir auch erst im nachhinein aufgefallen dass meine Lösung nicht linear war... aber da gabs dann keine Möglichkeit mehr zum Ausbessern!

Antworten

Zurück zu „Archiv“