Применение системы LLM-агентов для решения задач, требующих рассуждений : магистерская диссертация

Abstract

The goal of the thesis was to create several variants of agent systems based on LLM, analyze and compare their results in problems requiring reasoning. Due to time constraints, the research had to be limited to one data set, namely GSM8K. The solution to each problem in it is a single number, which is easy to evaluate. One of the main tasks was to create an agent system based on large language models with a small number of parameters by their standards. To select a candidate for an agent, large language models with open source code starting from 7 billion parameters were considered. As a result of the observations made, it was decided to use llama3 8b. In order for the agent to better understand its place in the multi-agent system, as well as to improve interaction between agents, the agents were assigned the following roles: a student agent, a teacher agent, an agent changing the wording of the text (while maintaining the meaning), an agent checking the final answer, and an agent changing the level of abstraction of the task. As a result of the final qualifying work, twelve different agent systems were created in two versions: with and without the use of thought chains. Most of the systems did not prove to be better than one large language model, but two of them were still able to distinguish themselves: a system of two student agents with different approaches to solving and a teacher agent, as well as a system consisting of two agents changing the level of abstraction of the task and a student agent.

Целью ВКР являлось создание нескольких вариантов систем агентов на основе LLM, анализ и сравнение их результатов в задачах, требующих рассуждений. За счет временных ограничений, исследования пришлось ограничить в рамках одного набора данных, а именно GSM8K. Решение каждой задачи в нем являются единственным числом, что легко оценивать. Одной из основных задач было создание системы агентов на основе больших языковых моделей с небольшим по их меркам количеством параметров. Для выбора кандидата в агенты рассматривались большие языковые модели с кодом в открытом доступе размером начиная от 7 миллиардов параметров. В результате проделанных наблюдений было решено использовать llama3 8b. Чтобы агент лучше понимал своё место в мультиагентной системе, а также для улучшения взаимодействия между агентами, агентам назначались следующие роли: агент-ученик, агент-учитель, агент, меняющий формулировку текста (сохраняя при этом смысл), агент, проверяющий итоговый ответ, а также агент, меняющий уровень абстракции задачи. В результате ВКР было создано двенадцать различных систем агентов в двух версиях: с применением цепей мыслей и без. Большая часть систем не показала себя лучше одной большой языковой модели, однако две из них всё же смогли отличиться: система из двух агентов-учеников с разными подходами к решению и агента учителя, а также система, состоящая из двух агентов, меняющих уровень абстракции задачи, и агента ученика.