Автоматическое пополнение веб-каталога на основе идентификации веб-сообществ с последующей фильтрацией документов по контенту

Abstract

В отчете приводятся результаты исследования, проведенного в рамках конкурса «Интернет-математика 2007». Отчет содержит описание задачи, методов исследования, эксперимента и его результатов. В частности рассмотрены свойства веб-графов для различных рубрик, исследовано влияние схемы отбора зерновых ресурсов на качество выявляемых компонент сильной связности. Рассмотрено применение предложенного авторами подхода для уточнения результатов поиска в ИПС.

The paper presents results of experimental research of an approach proposed by authors for an automatic web-directory resource discovery. Using data sets gathered from Yandex web-directory (http://yaca.yandex.ru) some properties of web-graphs constructed by crawler from seed resources taken from directory rubrics are examined. Some methods for web-crawling efficiency enhancing when constructing web-graph from seeds are tested. Also two approaches for seeds selection from web-directory rubrics were examined. It was demonstrated that seeds selected from from web-directory have rather different importance for the automatic resource discovery. The number of inlinks of seeds may be considered approximately like indirect indicator of its importance. The approach and software tools developed for research can be applied for web-directory rubrics structure diagnostics and web-resources distribution optimization. An application of the approach for the IR relevancy enhancing is discussed and tested.