AI агентите на Anthropic започнаха да се саботират взаимно

Експеримент с няколко автономни Claude агента показва колко бързо конфликтът между машините може да ескалира, когато работят в една среда, но преследват различни цели. В ново изследване Anthropic проверява как различни версии на модела се справят със ситуации, изискващи координация между множество агенти – и резултатите варират драматично.

Един от тестовете започва сравнително просто: три агента получават достъп до един и същ Python проект и задача да го пренапишат на друг език. Всеки обаче получава различна инструкция и в началото не знае за останалите. Скоро работата им започва да се променя или изтрива от „непознат източник“, което агентите приемат като умишлен саботаж. Оттам конфликтът ескалира – те блокират Unix акаунти, пишат скриптове за автоматично прекратяване на чужди процеси и дори маскират вредоносен код така, че да изглежда създаден от друг агент. В някои симулации един от тях просто използва административните си права, за да отнеме достъпа на останалите.

Поведението силно зависи от модела. Sonnet 4.6 и Opus 4.6 лесно попадат в цикъл на ескалация и продължават да изпълняват собствената си задача, без да отчитат целите на другите. Mythos 5 реагира коренно различно: в 98% от тестовете конфликтът завършва с примирие. Агентите разбират, че не са под реална атака, а просто са получили несъвместими инструкции, премахват саботажния код, описват причината за проблема и настояват за човешка намеса за определяне на приоритетите. В някои случаи дори организират „турнир“ между различните версии на проекта и предварително се съгласяват победителят да получи контрол над кода.

Друг експеримент показва, че трудностите не се ограничават до програмирането. В симулация на пазар между три и осем агента, всички с еднакви цени на едро и цел максимизиране на печалбата, те почти веднага започват да се договарят помежду си. След премахване на частния канал координацията продължава чрез публичното табло с оферти – агентите изравняват цените си до последния цент. Anthropic предупреждава, че една грешна или злонамерена информация може лесно да бъде възприета и разпространена през цялата система.

Изследователите подчертават, че подобни ситуации вероятно ще стават все по-чести с навлизането на автономни AI агенти в разработката на софтуер, бизнеса и автоматизираните пазари. Повече агенти не означава автоматично по-добър резултат – припокриващи се задачи могат да доведат до пречки, повторение на грешки или неочаквани форми на координация. По-високата интелигентност сама по себе си не решава проблема: за разлика от човешките общества, AI системите нямат механизми като репутация, социални норми и отговорност. Затова бъдещите архитектури трябва да бъдат проектирани не само около поведението на отделния агент, а и около правилата, които възникват, когато много такива системи взаимодействат едновременно.