Wort in NLP: Grundeinheit der Sprachverarbeitung

In der Natural Language Processing (NLP) ist ein Wort eine Sequenz von Zeichen (Buchstaben, Zahlen, Symbole), die eine bedeutende linguistische Einheit repräsentiert. Es ist das kleinste frei stehende Element, das semantischen Inhalt vermittelt.

Wichtige Aspekte

• Tokenisierung: Aufspaltung von Text in Wörter (Tokens) – kritischer erster NLP-Schritt.
• Wortarten: Substantive, Verben, Adjektive, Adverbien usw., jeweils mit grammatischen Rollen.
• Repräsentationen: One-hot, TF-IDF, Wort-Embeddings (Word2Vec, GloVe, BERT) zur Erfassung semantischer Beziehungen.
• Mehrdeutigkeit: Polysemie (mehrere Bedeutungen) und Homonymie stellen die Entdeutigung vor Herausforderungen.

Wörter sind die Bausteine von Sätzen, Absätzen und Dokumenten; das Verständnis ihrer Struktur und Bedeutung liegt allen NLP-Aufgaben zugrunde.