Обработка потока новостей на основе больших лингвистических ресурсов

Abstract

Задачей настоящего исследования является выяснение, насколько в задачах обработки новостных потоков,базирующихся в основном на пословном представлении содержания документов, может использоваться заранее созданный большой лингвистический ресурс онтологического типа, а именно, можно ли построить на основе Общественно-политического тезауруса булевские описания содержания кластеров, основанных на пословных моделях, и можно ли применить построенные булевские описания для решения задач, возникающих при работе новостных сервисов. В ходе исследования выяснилось, что для большинства кластеров, построенных алгоритмом кластеризации Яндекса, удается построить булевское выражение, отражающее основное содержание документов этого кластера. Если не удается построить булевское описание, которое охватывало бы более 80 процентов документов кластера, это свидетельствует о плохом качестве кластера.