foo: Starke Schwierigkeitsschwankung bei Pivot partitioning

headhumper
BASIC-Programmierer
BASIC-Programmierer
Beiträge: 118
Registriert: 13. Aug 2009 21:25

foo: Starke Schwierigkeitsschwankung bei Pivot partitioning

Beitrag von headhumper »

Hallo,

bisher hatte ich den Eindruck, dass die Schwierigkeit der generierten Aufgaben ganz gut passt, nicht nur subjektiv, auch die Zeit zum Loesen war ab einem gewissen Punkt immer recht konstant. Nicht so bei "Pivot Partitioning", hier variiert die Zeit sehr stark. Mal brauche ich 1 Minute fuer eine korrekte Loesung, mal 5 Minuten fuer eine falsche. Das Problem ist die starke Variation der Iterationen, beim Ueben hatte ich so Aufgaben wie 4d83be7a390565bb712b26f787096fb3 oder dedf106cfc8eff602c7231062e1bec0c mit i=1, im Testat kam dann z.B. d33bc465ef6ac0cb003a9e78e1e9a02c mit i=6... Die Wahrscheinlichkeit fuer einen Fluechtigkeitsfehler ist dann natuerlich sehr viel hoeher.

Es ist klar, dass die Aufgaben eine gewisse Variation bieten sollen, aber hier unterscheidet sich die Anzahl der Variationen im Extremfall bis um das 6-fache, was m.E. zu viel ist um "faire" Aufgaben zu generieren. Ich wuerde fast behaupten, man koennte die Iterationen konstant lassen (i=3 oder 4) und nur die Liste und das Pivot-Element variieren. Dadurch aendert sich die Aufgabe ja schon stark genug. Um Listen auszuschliessen, die schon nach 1 oder 2 Iterationen fertig sind, koennte man in diesem Fall ja einfach so lange eine neue Liste generieren, bis man eine bestimmte Mindestzahl an Iterationen benoetigt.

Gruss

SenZe
Erstie
Erstie
Beiträge: 20
Registriert: 13. Dez 2011 21:03

Re: foo: Starke Schwierigkeitsschwankung bei Pivot partition

Beitrag von SenZe »

Unterschreibe ich ohne Einschränkungen.

Weitere Anmerkungen: Welchen didaktischen Wert hat es, negative Pivot-Elemente (und überhaupt negative Listeneinträge) zu verwenden? Verkompliziert die Aufgabe völlig unnötig auf einer Ebene, die mit Verständnis nichts zu tun hat, sondern allenfalls Flüchtigkeitsfehler provoziert.

h_ar
Mausschubser
Mausschubser
Beiträge: 99
Registriert: 16. Apr 2015 19:56

Re: foo: Starke Schwierigkeitsschwankung bei Pivot partition

Beitrag von h_ar »

Agreed.. man muss nicht unbedingt das einfachste aussuchen, aber so ein gewisser Rahmen wäre schon gut..

Alexj1988
Mausschubser
Mausschubser
Beiträge: 69
Registriert: 23. Sep 2011 00:28

Re: foo: Starke Schwierigkeitsschwankung bei Pivot partition

Beitrag von Alexj1988 »

SenZe hat geschrieben:Unterschreibe ich ohne Einschränkungen.

Weitere Anmerkungen: Welchen didaktischen Wert hat es, negative Pivot-Elemente (und überhaupt negative Listeneinträge) zu verwenden? Verkompliziert die Aufgabe völlig unnötig auf einer Ebene, die mit Verständnis nichts zu tun hat, sondern allenfalls Flüchtigkeitsfehler provoziert.
hm... ich könnte anbieten Zeichen aus der UTF8-Tabelle zu nehmen und die müssen nach derer Reihenfolge sortiert werden. :twisted:

Aber ich schätze Prof. Weihe würde das nicht zulassen :/

Naja spaß beiseite, mit negativen Werten sollte man beim Pivotpatitioning durchaus umgehen können.

mfg Alex

headhumper
BASIC-Programmierer
BASIC-Programmierer
Beiträge: 118
Registriert: 13. Aug 2009 21:25

Re: foo: Starke Schwierigkeitsschwankung bei Pivot partition

Beitrag von headhumper »

Die negativen Werte sehe ich auch nicht unbedingt als Problem an, natürlich machen sie die Sache nicht übersichtlicher, aber sie kommen ja auch in jeder Aufgabe.
Die Anzahl der Iterationen von 1 bis 6 machen allerdings eine ziemliche "Lotterie" aus der Sache...

h4ktheworld
Windoof-User
Windoof-User
Beiträge: 25
Registriert: 29. Apr 2015 12:34

Re: foo: Starke Schwierigkeitsschwankung bei Pivot partition

Beitrag von h4ktheworld »

Da muss ich meinen Vorpostern zustimmen.

Ich denke eine Einschränkung auf i <= 4 wäre nicht sehr verkehrt.
Wer bis zur 4. Iteration korrekt sortiert hat, der wird es bis zur sechsten auch schaffen. Kostet nur Zeit und ist auch wegen der Übersichtlichkeit her "anstrengender".

HelloWorld
Neuling
Neuling
Beiträge: 8
Registriert: 29. Apr 2015 21:42

Re: foo: Starke Schwierigkeitsschwankung bei Pivot partition

Beitrag von HelloWorld »

Ehrlich gesagt finde ich es am schwierigsten, sich im Testat nicht zu verzählen. Die Aufgabe an sich ist einfach zu bewältigen, aber dann gleichzeitig (ohne sonstige Hilfestellung zu den Iterationen) richtig mitzuzählen ist schwierig. Ich denke nicht, dass das der Sinn des Testats sein soll. Allgemein verliert man sehr schnell den Überblick, zum Beispiel wenn ein Wert 2 mal verschoben wird. Man muss oben die Markierung anschauen und wieder was denn jetzt eigentlich für ein Wert an dieser Stelle steht, da der obige schon nicht mehr stimmt. Da wird das ganze dann schon etwas komplexer.

Ich habe allein und auch mit Freunden das Pivot Partitioning gut gekonnt, aber im Testat habe ich mich 3 mal verzählt (mal mehr mal weniger doof). In der Hinsicht fühle ich mich einfach ein wenig verarscht, da ich zum Beispiel in einem Versuch einfach die letzte Iteration vergessen habe.
Mal eben ein Element übersehen, das kann im Testat (u.U. unter Druck) schnell passieren. Da hat man dann seinen Versuch verschenkt.

Den Aussagen meiner Vorposter kann ich mich nur anschließen: Wie fair ist der Unterschied zwischen einem Beispiel mit einer Iteration zu einem Beispiel mit sieben Iterationen? Das ist erheblicher Mehraufwand.

Fazit: ich denke man müsste mehr "Hilfen" einbauen, also Dinge an denen man sich Orientieren kann bzw. den aktuellen Status merken kann. In der Lösung geht es doch auch. Dort ist Schritt für Schritt angegeben und alles ist nachvollziehbar; So wie es ist sind kleine Fehler während der Bearbeitung kaum auffindbar.


PS: Ich fände es schön, wenn sich auch mal ein Verantwortlicher melden könnte. Ich weiß man kann nicht "24/7" eine Antwort erwarten, aber ich denke es würde einige Studenten interessieren wie die Meinung der Veranstalter zu diesen Problemen ist bzw. ob es gar Absicht ist.

Prof. Karsten Weihe
Dozentin/Dozent
Beiträge: 1824
Registriert: 21. Feb 2005 16:33

Re: foo: Starke Schwierigkeitsschwankung bei Pivot partition

Beitrag von Prof. Karsten Weihe »

HelloWorld hat geschrieben: Den Aussagen meiner Vorposter kann ich mich nur anschließen: Wie fair ist der Unterschied zwischen einem Beispiel mit einer Iteration zu einem Beispiel mit sieben Iterationen? Das ist erheblicher Mehraufwand.
Wir haben uns auf Basis vollständig anonymisierter Daten einmal angesehen, wie hoch die Bestehensquoten bei den einzelnen Iterationen waren. Es ergibt sich kein klares Bild, das Ihre Hypothese stützen würde, dass hier etwas unfair wäre.

Die Anzahl der Fälle mit acht oder neun Iterationen ist zu gering, um etwas statistisch Belastbares aussagen zu können. Was man aber sagen kann, ist: Die insgesamt neun Fehlversuche mit acht oder neun Iterationen können nicht verantwortlich sein für die 7,25% nichtbestandene Testate. Bei sieben Iterationen gab es 58,62% erfolgreiche Versuche, bei sechs Iterationen 57,81% und bei fünf Iterationen 52,69%. (Bei noch weniger Iterationen steigt die Erfolgsquote wieder.)

Die für meine Beurteilung entscheidende Schlussfolgerung ist: Selbst die Aufgaben mit sieben Iterationen sind eigentlich ausreichend leicht machbar, so dass eventuelle Unterschiede im Schwierigkeitsgrad niemanden daran gehindert haben, das Testat zu bestehen. (Zu den Aufgaben mit acht oder neun Iterationen kann man wie gesagt nichts sagen, aber sie fallen, wie ebenfalls gesagt, auch nicht ins Gewicht.)

Ich möchte generell hinzufügen, dass die Sorgfalt, die Ihnen hier abgefordert wird, nicht höher ist als in vielen Situationen in Ihrem späteren Berufsleben, wo Sie voraussichtlich oft unter deutlich massiverem Druck und deutlich länger als eine halbe Stunde arbeiten werden. Von den Anforderungen an Ihre späteren Konkurrenten aus anderen Ländern in deren Studium oder von den Anforderungen, die an viele Nichtakademiker Ihres Alters ganz selbstverständlich gestellt werden, will ich dabei gar nicht reden.

HelloWorld hat geschrieben: PS: Ich fände es schön, wenn sich auch mal ein Verantwortlicher melden könnte. Ich weiß man kann nicht "24/7" eine Antwort erwarten, aber ich denke es würde einige Studenten interessieren wie die Meinung der Veranstalter zu diesen Problemen ist
Ich habe erst gewartet, bis ich Daten hatte, daher erst jetzt eine Antwort.

HelloWorld hat geschrieben:ob es gar Absicht ist.
Also, angesichts der Art und Weise. wie wir bspw. mit den Problemen beim ersten foo-Testat umgegangen sind, finde ich die Unterstellung von Absicht eigentlich eher unangebracht.

KW

headhumper
BASIC-Programmierer
BASIC-Programmierer
Beiträge: 118
Registriert: 13. Aug 2009 21:25

Re: foo: Starke Schwierigkeitsschwankung bei Pivot partition

Beitrag von headhumper »

Und wie sieht es aus mit der für eine korrekten Lösung benötige Zeit?

Wie viele Leute bestanden haben sagt doch nur bedingt etwas über die Schwierigkeit aus - auch 10 oder 20 Iterationen kann man korrekt lösen, genauso wie beliebig lange Listen oder Listen mit UTF8-Symbolen... Dass man gerade beim Testat alles dran setzt, die Aufgabe möglichst zu bestehen (und nicht auf den Zweit- oder Drittversuch hofft), ist ja klar. Aber wenn der eine wegen i=1 nach 2 Minuten und der andere wegen i=9 nach 8 Minuten fertig ist, hat die zweite Person entsprechend weniger Zeit für die zweite Aufgabe (und/oder weitere Versuche).

Ähnliche Schwierigkeit heißt "ähnliche Zeit zum Lösen". Wenn man beliebig lange Zeit hätte, würde ich Ihr Argument gelten lassen bzw. die Metrik rein nach Bestehensquote akzeptieren. Foo soll doch ein faires System sein, bei dem man nicht der Laune eines Tutors unterliegt - damit soll(t)en also alle Leute möglichst die gleiche Chance haben. Das heißt für mich hauptsächlich, die gestellten Aufgaben in ähnlicher Zeit lösen zu können.


PS: Die Referenz auf ausländische Studenten und Nichtakademiker leuchtet mir nicht ein. Das ist eine Begründung wofür oder Antwort worauf?

Prof. Karsten Weihe
Dozentin/Dozent
Beiträge: 1824
Registriert: 21. Feb 2005 16:33

Re: foo: Starke Schwierigkeitsschwankung bei Pivot partition

Beitrag von Prof. Karsten Weihe »

headhumper hat geschrieben:Und wie sieht es aus mit der für eine korrekten Lösung benötige Zeit?
Aus Datenschutzgründen können wir die Sachlage nur sehr eingeschränkt analysieren.

headhumper hat geschrieben: Wie viele Leute bestanden haben sagt doch nur bedingt etwas über die Schwierigkeit aus
Ach so :?:

headhumper hat geschrieben: Dass man gerade beim Testat alles dran setzt, die Aufgabe möglichst zu bestehen (und nicht auf den Zweit- oder Drittversuch hofft), ist ja klar.
Interessanterweise haben wir Rückmeldungen bekommen, dass beim dritten foo-Testat anscheinend etliche Teilnehmer den ersten Versuch nicht ganz ernstgenommen und sich erst bei den weiteren Versuchen voll konzentriert haben. Daher ist Ihre Aussage durchaus nicht ganz so klar.

headhumper hat geschrieben: Aber wenn der eine wegen i=1 nach 2 Minuten und der andere wegen i=9 nach 8 Minuten fertig ist, hat die zweite Person entsprechend weniger Zeit für die zweite Aufgabe (und/oder weitere Versuche).
Wie ich geschrieben hatte, ist die Erfolgsquote bei sieben Iterationen sogar höher als bei sechs und bei sechs höher als bei fünf. Ich kann daher keine Benachteiligung derjenigen Teilnehmer sehen, die eine höhere Zahl von Iterationen hatte.

Ich verstehe Ihren Einwand, dass die Bestehensquoten nicht unbedingt etwas über Gleichbehandlung der Teilnehmer aussagen. Offenbar definieren Sie Fairness anders als ich. Fairness heißt für mich, dass jeder, der sich entsprechend vorbereitet hat und sich im Testat voll konzentriert, auch bei ungünstigster Aufgabenstellung keine Probleme haben wird, das Testat in der vorgegebenen Zeit zu bestehen, sogar bei jeder Aufgabe im jeweils ersten Versuch. Die Gesamtbestehensquote von 92,75% belegt meines Erachtens, dass dies erfüllt ist, denn es sind Aufgabenstellungen aller Schwierigkeitsgrade überwiegend erfolgreich gelöst worden und auch sonst finden wir in den Daten (und auch im Forum oder über andere Kanäle) keinen Hinweis, dass irgendjemand durch besonders schwierige Aufgabenstellungen nicht bestanden hat.

Worauf Sie wohl hinauswollen, ist eine Art von Gerechtigkeit, die meines Erachtens nicht realistisch ist. Die Situation sehe ich ähnlich wie in mündlichen Prüfungen. Dort müssen auch die Fragen von Prüfling zu Prüfling variiert werden, denn es spricht sich natürlich herum, was die ersten Prüflinge gefragt wurden. Die Antworten der Prüflinge auf die unterschiedlichen Fragen können natürlich nicht gleich bewertet werden, Gerechtigkeit ist nicht wirklich möglich.

Natürlich werden wir uns bemühen, unnötige Schwankungen, die wir in diesem Jahr im laufenden Betrieb identifizieren, in kommenden Jahren zu vermeiden, soweit möglich.

headhumper hat geschrieben: PS: Die Referenz auf ausländische Studenten und Nichtakademiker leuchtet mir nicht ein. Das ist eine Begründung wofür oder Antwort worauf?
Es ging mir darum, dass es nicht exotisch und übertrieben, sondern auch im Vergleich durchaus fair und zumutbar ist, den Grad an Sorgfalt abzufordern, mit dem auch eine Aufgabenstellung mit höherer Iteration im ersten oder - im absoluten Ausnahmefall - zweiten Versuch erfolgreich gelöst werden kann.

KW

headhumper
BASIC-Programmierer
BASIC-Programmierer
Beiträge: 118
Registriert: 13. Aug 2009 21:25

Re: foo: Starke Schwierigkeitsschwankung bei Pivot partition

Beitrag von headhumper »

Prof. Karsten Weihe hat geschrieben:Wie ich geschrieben hatte, ist die Erfolgsquote bei sieben Iterationen sogar höher als bei sechs und bei sechs höher als bei fünf.
Auch wenn man die Fehler der Werte berücksichtigt? (Ist die Stichprobe groß genug, um diese Aussage treffen zu können?)

Prof. Karsten Weihe
Dozentin/Dozent
Beiträge: 1824
Registriert: 21. Feb 2005 16:33

Re: foo: Starke Schwierigkeitsschwankung bei Pivot partition

Beitrag von Prof. Karsten Weihe »

headhumper hat geschrieben: (Ist die Stichprobe groß genug, um diese Aussage treffen zu können?)
Jeweils mehrere Dutzend.

Ohne jetzt exakt Statistik zu treiben, kann man zumindest diejenige Aussage auf Basis dieser Stichprobe treffen, auf die es meines Erachtens ankommt: Die Hypothese, dass der Schwierigkeitsgrad der Aufgaben (gemessen an der Nichterfolgsquote) mit der Zahl der Iterationen steigt, kann mit hoher Konfidenz als statistisch widerlegt angesehen werden.

KW

Antworten

Zurück zu „Archiv“