Автоматическая рубрикация web-страниц в интернет-каталоге с иерархической структурой

Abstract

В статье рассмотрено применение статистических методов автоматической рубрикации (классификации) web-страниц в многоуровневом иерархическом рубрикаторе интернет-каталога. Применение классического метода Байеса (naïve Bayes) оказывается затруднительным при больших объемах данных. Вместо него предлагается использовать метод на основе алгоритма PrTFIDF, который так же заключается в вычислении условных вероятностей принадлежности документа рубрике. Эксперименты производились на основе данных интернет-каталога Яндекс. Результаты экспериментов позволяют сделать вывод о возможности успешного применения метода.

Use of web pages automatic classification statistical methods is described in the article. Application of classical naive Bayes method becomes difficult with huge data volumes. The method based on algorithm PrTFIDF is proposed to use, which is also in conditional probability calculation of rubric document belonging. Experiments were executed with data based on Yandex web-catalog. Based on results it is possible to conclude about possibility of successful method application.