Пожалуйста, используйте этот идентификатор, чтобы цитировать или ссылаться на этот ресурс: http://elar.urfu.ru/handle/10995/140366
Название: Применение системы LLM-агентов для решения задач, требующих рассуждений : магистерская диссертация
Другие названия: Application of the LLM agent system to solve problems requiring reasoning
Авторы: Хренников, А. И.
Khrennikov, A. I.
Научный руководитель: Тимохин, В. Н.
Timokhin, V. N.
Дата публикации: 2024
Издатель: б. и.
Библиографическое описание: Хренников А. И. Применение системы LLM-агентов для решения задач, требующих рассуждений : магистерская диссертация / А. И. Хренников ; Уральский федеральный университет имени первого Президента России Б. Н. Ельцина, Институт радиоэлектроники и информационных технологий-РТФ, Кафедра информационных технологий и систем управления. — Екатеринбург, 2024. — 52 с. — Библиогр.: с. 49-52 (45 назв.).
Аннотация: The goal of the thesis was to create several variants of agent systems based on LLM, analyze and compare their results in problems requiring reasoning. Due to time constraints, the research had to be limited to one data set, namely GSM8K. The solution to each problem in it is a single number, which is easy to evaluate. One of the main tasks was to create an agent system based on large language models with a small number of parameters by their standards. To select a candidate for an agent, large language models with open source code starting from 7 billion parameters were considered. As a result of the observations made, it was decided to use llama3 8b. In order for the agent to better understand its place in the multi-agent system, as well as to improve interaction between agents, the agents were assigned the following roles: a student agent, a teacher agent, an agent changing the wording of the text (while maintaining the meaning), an agent checking the final answer, and an agent changing the level of abstraction of the task. As a result of the final qualifying work, twelve different agent systems were created in two versions: with and without the use of thought chains. Most of the systems did not prove to be better than one large language model, but two of them were still able to distinguish themselves: a system of two student agents with different approaches to solving and a teacher agent, as well as a system consisting of two agents changing the level of abstraction of the task and a student agent.
Целью ВКР являлось создание нескольких вариантов систем агентов на основе LLM, анализ и сравнение их результатов в задачах, требующих рассуждений. За счет временных ограничений, исследования пришлось ограничить в рамках одного набора данных, а именно GSM8K. Решение каждой задачи в нем являются единственным числом, что легко оценивать. Одной из основных задач было создание системы агентов на основе больших языковых моделей с небольшим по их меркам количеством параметров. Для выбора кандидата в агенты рассматривались большие языковые модели с кодом в открытом доступе размером начиная от 7 миллиардов параметров. В результате проделанных наблюдений было решено использовать llama3 8b. Чтобы агент лучше понимал своё место в мультиагентной системе, а также для улучшения взаимодействия между агентами, агентам назначались следующие роли: агент-ученик, агент-учитель, агент, меняющий формулировку текста (сохраняя при этом смысл), агент, проверяющий итоговый ответ, а также агент, меняющий уровень абстракции задачи. В результате ВКР было создано двенадцать различных систем агентов в двух версиях: с применением цепей мыслей и без. Большая часть систем не показала себя лучше одной большой языковой модели, однако две из них всё же смогли отличиться: система из двух агентов-учеников с разными подходами к решению и агента учителя, а также система, состоящая из двух агентов, меняющих уровень абстракции задачи, и агента ученика.
Ключевые слова: MASTER'S THESIS
AGENT SYSTEM BASED ON LARGE LANGUAGE MODELS
AGENT
STUDENT AGENT
TEACHER AGENT
INTERAGENT INTERACTION
LARGE LANGUAGE MODEL
TASKS REQUIRING REASONING
ARTIFICIAL INTELLIGENCE
МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ
СИСТЕМА АГЕНТОВ НА БАЗЕ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ
АГЕНТ
АГЕНТ-УЧЕНИК
АГЕНТ-УЧИТЕЛЬ
МЕЖАГЕНТНОЕ ВЗАИМОДЕЙСТВИЕ
БОЛЬШАЯ ЯЗЫКОВАЯ МОДЕЛЬ
ЗАДАЧИ
ТРЕБУЮЩИЕ РАССУЖДЕНИЙ
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ
URI: http://elar.urfu.ru/handle/10995/140366
Условия доступа: Предоставлено автором на условиях простой неисключительной лицензии
Текст лицензии: http://elar.urfu.ru/handle/10995/31613
Идентификатор PURE: 67539604
Располагается в коллекциях:Магистерские диссертации

Файлы этого ресурса:
Файл Описание РазмерФормат 
m_th_a.i.khrennikov_2024.pdf1,4 MBAdobe PDFПросмотреть/Открыть


Все ресурсы в архиве электронных ресурсов защищены авторским правом, все права сохранены.