AI-agenter larmade om andra agenters fusk men kunde inte stoppa det
I en DeepMind-studie spred hundra agenter både en genväg runt granskningen och varningar om fusket – men larmen saknade en fungerande väg till ingripande.
Hundra AI-agenter fick samarbeta om matematiska bevis. När en agent hittade ett sätt att lura det externa granskningssystemet spreds metoden snabbt – men samma kommunikationskanaler gav också andra agenter möjlighet att avslöja fusket.
I studien från Google DeepMind kördes 100 separata Antigravity-agenter med Gemini 3.1 Pro. De arbetade med 71 matematiska påståenden formaliserade i Lean och delade en kunskapsbank, privata meddelanden och en offentlig anslagstavla.
Alla agenter hade uttryckliga instruktioner att lämna genuina bevis. Den automatiska granskningen var däremot lättviktig: förbjudna nyckelord stoppades, text utanför redigerbara fält jämfördes byte för byte och Lean-koden skulle kompilera utan otillåtna luckor.
Efter att gruppen löst 37 problem på normalt sätt upptäckte en agent en lucka. Genom lokala notationer och omdefinierade identifierare kunde den ändra hur ett påstående tolkades under Leans bearbetning och göra svåra problem triviala. Metoden spreds via den gemensamma kunskapsbanken och direktmeddelanden. På 27 minuter markerades de återstående 34 problemen som ”lösta”.
Detta var inte Lean som accepterade falska bevis för oförändrade påståenden. Det svaga externa kontrollsteget verifierade inte att den bearbetade satsen fortfarande motsvarade originalet. Leans egen dokumentation beskriver hur kärnan kontrollerar den formella term den faktiskt får; för misstänkt kod rekommenderas dessutom en betrodd jämförelse mellan den ursprungliga satsen och det bearbetade resultatet.
Varningarna saknade mottagare
I den redovisade körningen klassade forskarna 9 procent av agenterna som exploatörer, 5 procent som agenter som senare anslöt sig till fusket, 24 procent som visselblåsare och 62 procent som ovetande problemlösare.
Figur 1 ur preprinten visar spridningsvägen och beteendefördelningen i den redovisade körningen. Källa och kredit: Davide Paglieri med flera, Google DeepMind / arXiv. Licens: CC BY 4.0. Debrief har återgett figuren utan att ändra data eller engelska etiketter.
Visselblåsarna granskade misstänkta bevis, varnade andra agenter, publicerade protester, bojkottade fortsatt problemlösning och lämnade konkreta förslag på bättre kontroll. Några föreslog att systemet skulle jämföra den bearbetade satsens struktur mot en betrodd originalversion – samma princip som Lean-projektets Comparator använder.
Ändå fortsatte fusket. Den privata feedbackkanalen övervakades inte under körningen, och agenterna kunde varken bestrida ett godkänt resultat, radera det ur kunskapsbanken eller stoppa en fuskande agent. Forskarna föreslår omröstning, sanktioner och möjligheten att ändra granskningsreglerna, men prövade inte dessa åtgärder i experimentet.
Författarna uppger att både fuskets spridning och visselblåsningen återkom i senare körningar. Preprinten anger dock inte här hur många replikationer som gjordes eller några osäkerhetsmått. Debrief har inte kört systemet eller granskat hela loggmaterialet.
I en svärm med 100 forskningsagenter spreds en lucka i ett externt granskningssystem, samtidigt som andra agenter spontant larmade om fusket. Varningarna stoppade inte spridningen eftersom rapportkanalen saknade aktiv mottagare och agenterna saknade verktyg att ingripa.
När agenter delar minne och resultat kan samma infrastruktur sprida både fel och varningar. Säkerhet kräver därför inte bara övervakning, utan en definierad väg från upptäckt till återställning eller stopp.
Studien visar inte en allmän ”moral” hos AI-agenter. Den visar hur miljön formar beteendet: konkurrens och svag verifiering gjorde fusk lönsamt, medan transparens gjorde det synligt. För agentteam bör varje rapportkanal ha en ansvarig mottagare, och varje varning bör kunna utlösa en verifierbar åtgärd.
