Worte sind nicht gleich: Ein abgestuftes Gewichtungsmodell für Dokumentenvektoren

In den letzten Jahren wurden Verteilungssemantiken oder Vektormodelle für Wörter vorgeschlagen, um sowohl die syntaktischen als auch die semantischen Ähnlichkeiten zwischen Wörtern zu erfassen. Solche Vektoren können für Wörter gewonnen werden, die in einem großen Korpus oder in einem bestimmten Bereich verwendet werden. Da es sich hierbei um sprachfreie Modelle handelt, die auf unüberwachte Weise gewonnen werden können, sind sie für Sprachen mit geringen Ressourcen wie Hindi von Interesse. Wir beginnen mit einem Überblick, der zeigt, dass ein vernünftiges Maß für die semantische Ähnlichkeit in Hindi durch eine Wortvektorkarte erfasst zu werden scheint.

Autorentext

Pranjal Singh : B.Tech.-M.Tech. Dual Degree, Computer Science & Engineering, Indian Institute of Technology Kanpur.