Исследование подходов к поиску и исправлению фактологических ошибок в отклике большой языковой модели : магистерская диссертация

Abstract

The purpose of the work is to research and develop a system that implements automatic verification and correction of factual errors in text generated by a large language model, within limited computing resources. The object of study is large language models. The subject of the study is the verification and correction of text generated by a large language model. A study of existing approaches to correcting the response of a large language model was conducted, RAG method was recognized as the most appropriate method to enrich the knowledge of the model and prevent its hallucinations. The result of the work was the design and development of original RAG system. The system was evaluated for effectiveness in preventing hallucinations, determined that the system detects 93% of false facts in texts generated by Alpaca 13B, and 84% of false facts in a ChatGPT response.

Целью работы является исследование и разработка системы, реализующую автоматический поиск и коррекцию фактологических ошибок в тексте, сгенерированных большой языковой моделью, в рамках ограниченных вычислительных ресурсов. Объект исследования – большие языковые модели. Предмет исследования – анализ и коррекция текста, сгенерированного большой языковой моделью. Проведено исследование существующих подходов к коррекции отклика большой языковой модели, метод RAG признан наиболее подходящим способом обогатить знания модели и предотвратить появление галлюцинаций в её отклике. Результатом работы стало проектирование и разработка собственной RAG-системы. Система была протестирована на предмет эффективности в борьбе с галлюцинациями, определено, что в среднем система обнаруживает 93% неверных фактов в текстах, сгенерированных Alpaca 13B, и 84% неверных фактов в аналогичном отклике ChatGPT.