Token und Wörter

Moderator: Algorithms of Language Technology

Toa
BASIC-Programmierer
BASIC-Programmierer
Beiträge: 121
Registriert: 16. Feb 2011 23:58

Token und Wörter

Beitrag von Toa »

Hey,

Laut Aufgabenstellung sind Punctuation auch Tokens. Aber sind sie dann auch Wörter? Habe bei der zweiten Aufgabe a) Punctuation und Zahlen gefiltert. Ist das in Ordnung?
Meine andere Frage ist ob, "vielleicht" und "Vielleicht" ein oder zwei Token sind?

Grüße T0a

Seldon
BASIC-Programmierer
BASIC-Programmierer
Beiträge: 119
Registriert: 19. Apr 2012 18:12

Re: Token und Wörter

Beitrag von Seldon »

Ich habe das auch bei den Wörtern rausgefiltert (aber natürlich nicht bei den Bigrammen). --- "vielleicht" und "Vielleicht" sind derselbe Type, wir ignorieren den Case.

riedl
Moderator
Moderator
Beiträge: 26
Registriert: 3. Apr 2013 12:25

Re: Token und Wörter

Beitrag von riedl »

Was Wörter/keine Wörter sind, darüber kann man sich streiten. Ich halte auch sonderzeichen fuer Token/Woerter. Wenn bei der a Sonderzeichen gefiltert wurden, sollte das ok sein. Allerdinsg war es nicht verlangt :-) Am besten ist es wenn man bei solchen Entscheidungen diese auch bei der Abgabe notiert.

Antworten

Zurück zu „Algorithms of Language Technology“