Исследование под названием "На пути к науке масштабирования агентных систем" провело 180 контролируемых экспериментов по пяти типам архитектур и трем основным семействам языковых моделей — GPT от OpenAI, Gemini от Google и Claude от Anthropic — чтобы выявить, когда мультиагентная координация помогает, а когда она приводит к обратным результатам.
Порог 45%
Исследование выявило критический предел производительности: как только один агент достигает приблизительно 45% точности в выполнении задачи, добавление дополнительных агентов обычно приводит к убывающей или отрицательной отдаче из-за накладных расходов на координацию, которые перевешивают потенциальные выгоды. Пороговое значение показало статистическую значимость с бета-коэффициентом -0,408 (p<0,001).
Задачи финансового анализа, которые разбиваются на независимые части, показали улучшение на 80,9% при централизованной многоагентной координации, поскольку различные агенты параллельно анализировали тенденции продаж, структуру затрат и рыночные данные перед объединением результатов. Однако задачи планирования в Minecraft продемонстрировали противоположную картину: каждая многоагентная конфигурация снижала производительность на 39%-70%.
Различие заключается в последовательных зависимостях. Когда каждый шаг в задаче изменяет состояние, необходимое для последующих шагов — как при крафтинге, где изменения в инвентаре влияют на последующие действия — многоагентные системы испытывают трудности, поскольку контекст фрагментируется между агентами.
Усиление ошибок и неэффективность токенов
Независимые мультиагентные системы усиливали ошибки в 17,2 раза быстрее, чем одиночные агенты, из-за бесконтрольного распространения, в то время как централизованная координация снизила этот показатель до 4,4 раза за счёт добавления контрольных точек валидации.
Эффективность использования токенов также пострадала. Одиночные агенты выполняли в среднем 67 успешных задач на 1000 токенов, в то время как централизованные мультиагентные системы справлялись лишь с 21 задачей — менее трети. Гибридные команды выполняли только 14 задач на 1000 токенов.
Исследователи разработали прогностическую модель, которая правильно определяет оптимальную стратегию координации для 87% новых конфигураций на основе измеримых свойств задач. Задачи, требующие около 16 различных инструментов, благоприятствовали одиночным агентам или децентрализованным настройкам, а не мультиагентной координации.
Результаты противоречат прошлогодней статье «Больше агентов — это всё, что нужно», устанавливая то, что исследователи называют «первыми количественными принципами масштабирования для агентных систем».
Источник
Комментариев нет:
Отправить комментарий