Воспроизведение лучших результатов ad hoc поиска семинара РОМИП

Abstract

Данная работа направлена на более детальное изучение алгоритмов поиска документов, получивших наилучшие результаты на семинаре РОМИП в последние три года 2004–2006 гг. для задач ad hoc поиска по нормативным документам и по коллекции narod.ru. Цель исследования состояла в том, чтобы путем варьирования параметров небольшого числа основных факторов постараться воспроизвести результаты лучших (но недостаточно задокументированных алгоритмов). Основные факторы, которые были исследованы в настоящей работе, включают все эти алгоритмы, помимо классического TF*IDF веса, так или иначе, учитывали вес по парам слов и по кворуму (мере частичного соответствия запроса документу) — эти факторы стали основными для исследования.

This work is aimed at more detailed studying document retrieval algorithms, that received best results at ROMIP seminar in 2004–2006 for ad hoc task on legal document collection and narod.ru collection. Goal of the research is to reproduce results of best (but no so well documented) algorithms using certain amount of parameters and factors. Factors explored in this research, besides classical TF*IDF weight was: weight based on word pairs frequency and quorum weight (partial similarity between document and query).