Метод вероятностного морфологического анализа для задач полнотекстового индексированного поиска

Abstract

Рассматривается традиционный подход к задаче морфологического анализа слова, указываются его недостатки при применении в системах полнотекстового поиска. Предлагается алгоритм морфологического анализа слов для целей построения обратного индекса в задаче полнотекстового поиска, основанный на вероятностном подходе. Вводится понятие морфологической эквивалентности, рассматривается способ и формула для вычисления морфологической эквивалентности пары слов. Описывается эксперимент, доказывающий работоспособность алгоритма. Особенностями предложенного автором алгоритма являются его высокая скорость и нечувствительность к языковым и тематическим неоднородностям текстов в корпусе.

Traditional approach to the task of morphologic analysis is reviewed, its disadvantages in conjunction with full-text search systems are outlined. Algorithm of morphologic analysis for the purpose of building reverse index in the task of the full text search based on probabilistic model is proposed. Concept of morphologic equivalency is introduced, the method and formula for its calculation for the pair of words is considered. Experiment proving workability of the algorithm is described, the method of finding the boundary value of K is outlined. The advantages of proposed algorithm are its speed, reliability and insensibility for language and thematic heterogeneity of the text corpus.