Исследование методов поиска дубликатов веб-документов с учетом запроса пользователя

Abstract

В данной работе исследуется методика on-line поиска дубликатов веб-документов на основе вычисления схожести релевантных запросу пользователя фрагментов (сниппетов) и атрибутов (заголовков). Формулируется математическая постановка задачи поиска нечетких дубликатов в больших репозиториях данных. Исследуется эффективность применения различных функций схожести на основе дистанции редактирования и векторной модели документа. Предлагается использование динамических функций вычисления общей схожести веб-документов. Полученные результаты позволяют говорить о высокой эффективности предложенного подхода и целесообразности его применения для существенного улучшения качества ответа поисковой машины на запрос пользователя.

The research is devoted to investigating a technique of online fuzzy duplicate web-documents detection by computing the similarity of document fragments (snippets) and attributes (titles) relevant to a user’s request. It formally states a mathematical problem for locating fuzzy duplicates in huge data repositories. It explores the efficiency of different similarity functions based either on editing distance or vector-space document model. It then introduces the usage of dynamic functions to improve the calculation of overall document similarity. It concludes by exposing results that prove the high efficiency and improved adequacy of search results to user requests when compared to existing search engine solutions, while delivering productivity levels that are on a par with existing production quality systems.