Извлечение значимой информации из web-страниц для задач информационного поиска

Abstract

В статье описываются разработанные нами методы разделения web-страниц на содержательную и навигационную части. Данные методы основаны на выделении одинаковых частей страниц с одного сайта. Основной целью данной работы является повышение качества информационного поиска за счет удаления навигационной части из web-страниц. Мы покажем, что разработанный алгоритм позволяет эффективно разделять страницы на содержательную и навигационную части. С другой стороны, проведенный нами эксперимент по анализу эффективности информационного поиска в web на основе коллекции РОМИП-WEB-narod.ru с использованием разработанного алгоритма не привел к улучшению средней оценки точности поиска. В статье описан детальный анализ результатов информационного поиска с использованием описанного алгоритма.

We describe a new algorithm for automatic partition of web page onto navigational and main parts. The algorithm is based on extraction of common parts in web-pages from one web-site. Our basic supposition is that we can improve quality of information retrieval system by purging navigational part of web-pages. We show that our method successfully extract navigational and main parts from web-pages. On the other hand, cutting of navigational part do not improve quality of web information retrieval.