Оптимизация процедуры автоматического пополнения веб-каталога

Abstract

В работе изучается влияние применения различных методов классификации текстов на точность автоматического пополнения веб-каталогов [4, 5, 11]. В процессе исследования была выработана стратегия проведения экспериментов, направленных на определение оптимальной классификационной процедуры, а также сформулированы новые методические рекомендации по построению и оценке точности иерархического классификатора. На основе экспериментов с выборкой из содержимого веб-каталога Яндекс была доказана оправданность этих рекомендаций и определены оптимальные с точки зрения точности алгоритмы классификации и формирования векторов признаков, оказавшиеся разными для разных уровней дерева каталога.

The influence of application of different text classification methods on accuracy of automated distribution of internet pages in the thematic web directory nodes [4, 5, 11] has been explored. An experiment strategy aimed at determination of the optimal classification procedure has been designed. New methodological recommendations for creation and accuracy evaluation of hierarchical classifiers have been proposed. On the basis of the experiments performed on a sampled Yandex web directory con-tents the validity of these recommendations have been proved and the optimal (in terms of accuracy) algorithms for classification and feature vector formation have been determined. It was found that the sets of these algorithms differ for the different web directory levels.