Ансамблевый метод исправления фактологических ошибок в тексте, генерируемом большими лингвистическими моделями

Abstract

Программа представляет собой высокопроизводительный модуль для осуществления автономной коррекции отклика большой лингвистической модели «LLaMa 2» на основе внешнего открытого бесплатного источника – Википедии. В рамках модуля осуществляется первичная подготовка текста путём решения задач «coreference resolution» и «semantic analysis», направленных на определения тематики текста и разбиения сложных предложений на более простые. Затем для каждого сегмента текста производится автоматический поиск наиболее релевантного материала в Википедии. Сверка данных происходит двумя независимыми методами: путём решения задачи «textual entailment» моделью «roberta-large-mnli», а также средствами самой «LLaMa 2». Текст с выявленными корректировками генерируется «LLaMa 2» и возвращается пользователю. Тип ЭВМ: IBM PC-совмест. ПК. ОС: Windows XP и выше.