Ручная оценка результатов автоматического извлечения гипо-, гиперонимических глагольных пар

Abstract

The aim of the study is manual verification of the results of automatic extraction of hyper-hyponymic pairs from dictionary definitions and assessment of the level of expert agreement on the truth of established hyponyms and hypernyms. Typical disagreements of experts were identified and their reasons were analyzed. The expert assessment of the truth of hyper-hyponymic pairs showed a high level of agreement. This leads to the further development of methods of semantic relations extraction based on dictionary definitions.

Целью исследования является ручная проверка результатов автоматического извлечения гипо-, гиперонимических пар из словарных дефиниций и оценка уровня согласия экспертов об истинности установленных гипонимов и гиперонимов. Были выявлены типичные разногласия экспертов и проанализированы их причины. Экспертная оценка истинности гипо-, гиперонимических пар показала высокий уровень согласия. Это обусловливает целесообразность дальнейшей разработки методов извлечения семантических отношений на базе словарных дефиниций.