Seite 1 von 1

Token und Wörter

Verfasst: 21. Mai 2013 10:21
von Toa
Hey,

Laut Aufgabenstellung sind Punctuation auch Tokens. Aber sind sie dann auch Wörter? Habe bei der zweiten Aufgabe a) Punctuation und Zahlen gefiltert. Ist das in Ordnung?
Meine andere Frage ist ob, "vielleicht" und "Vielleicht" ein oder zwei Token sind?

Grüße T0a

Re: Token und Wörter

Verfasst: 21. Mai 2013 19:14
von Seldon
Ich habe das auch bei den Wörtern rausgefiltert (aber natürlich nicht bei den Bigrammen). --- "vielleicht" und "Vielleicht" sind derselbe Type, wir ignorieren den Case.

Re: Token und Wörter

Verfasst: 22. Mai 2013 15:04
von riedl
Was Wörter/keine Wörter sind, darüber kann man sich streiten. Ich halte auch sonderzeichen fuer Token/Woerter. Wenn bei der a Sonderzeichen gefiltert wurden, sollte das ok sein. Allerdinsg war es nicht verlangt :-) Am besten ist es wenn man bei solchen Entscheidungen diese auch bei der Abgabe notiert.