Сравнение эффективности двух методик снятия лексической и морфологической неоднозначности для русского языка (скрытая модель Маркова и синтаксический анализатор именных групп)

Abstract

В работе описывается серия экспериментов по снятию морфологической и лексической (лемматической) неоднозначности с использованием скрытых моделей Маркова. Для обучения модели используется Национальный корпус русского языка. Проводятся сравнения модели Маркова с программой, построенной на правилах, составленных вручную и с моделями, построенными на других формализмах (вероятностных или гибридных). Авторы приходят к выводу о перспективности использования скрытых моделей Маркова для разрешения морфологической неоднозначности. Вместе с тем точность снятия лексической неоднозначности, с которой работает модель Маркова, ниже, чем у других вероятностных моделей.

A set of experiments to resolve lexical and morphological ambiguity in Russian using Hidden Markov Model(HMM) is described. The HMM-tagger is trained by Russian National Corpus. Three different tag sets are used. The authors compare the HMMtagger with a rule-based shallow syntax program (Synan) and also with some other taggers (stochastic or hybrid). The experiments show that that for the same amount of remaining morphological ambiguity, the error rate of the HMM-tagger is almost the same as of Synan program, but if the output morphological interpretation should be unambiguous, then the HMM-tagger is considerably better. Nevertheless while resolving lexical ambiguity the proposed HMMtagger yields less accurate results, than the programs which are on other stochastic models.