OpenAI:s forskare kör 3,1 agentdagar per mänsklig arbetsdag
Kodagenter tar längre uppgifter och körs parallellt i OpenAI:s forskning, men de interna måtten visar också hur mycket mänsklig styrning som fortfarande krävs.
OpenAI uppger att bolaget har nått sitt mål att bygga en ”automatiserad forskningspraktikant”. Med det menar företaget ett system som under mänsklig ledning kan slutföra väl avgränsade forskningsuppgifter som skulle ta en kvalificerad forskare några dagar.
Det mest konkreta tecknet på förändringen finns i den interna användningen. I mitten av augusti motsvarade den samlade körtiden för kodagenter 3,1 normaliserade agentarbetsdagar per mänsklig arbetsdag i OpenAI:s forskningsorganisation.
Det är ett mått på körtid, inte på produktivitet. Tre agentdagar betyder alltså inte att forskningen går tre gånger snabbare. OpenAI betonar själv att forskning har andra flaskhalsar och att sambandet mellan mer kod, fler experiment och verkliga genombrott är svårt att mäta.
Agenterna arbetar parallellt
Enligt OpenAI använder forskarna kodagenter genom hela arbetsdagen, ofta i flera samtidiga sessioner. Användningen har ökat snabbare än i andra delar av bolaget, samtidigt som forskarna bidrar med kod oftare och kör fler experiment.
Uppgifterna visar också att agenternas arbetsuppgifter blivit bredare. Kod och forskningsinfrastruktur är fortfarande den största kategorin, men teknisk support och övervakning av körningar har vuxit. Planering på hög nivå står däremot fortfarande för en mycket liten del av agenternas utdata.
Det är en viktig gräns. Agenterna kan avlasta felsökning, implementering och experimentarbete, men människor väljer fortfarande forskningsfrågor, bedömer vilka resultat som är värda att följa och beslutar om ett system ska skalas, pausas eller lanseras.
Längre uppgifter kräver styrning
OpenAI mäter att agenternas träffsäkerhet har förbättrats från januari till juli, även för uppgifter som uppskattas ta en människa flera timmar. Men över hälften av de lyckade uppgifterna i spannet fyra till åtta timmar krävde minst ett mänskligt ingripande.
Bolagets etikett ”forskningspraktikant” är därför mer träffande än ”självständig forskare”. Systemet kan ta ansvar för längre deluppgifter, men arbetar fortfarande i en loop där en människa avgränsar arbetet, korrigerar kursen och bedömer resultatet.
Engadget återger OpenAI:s besked och sätter det i relation till företagets tidigare mål, men redovisar ingen oberoende reproduktion av de interna måtten. Siffrorna ska därför läsas som OpenAI:s egen lägesbild.
OpenAI uppger att kodagenter nu kör motsvarande 3,1 agentarbetsdagar per mänsklig arbetsdag i forskningen och klarar väl avgränsade uppgifter på praktikantnivå.
När flera agenter kan arbeta parallellt flyttas en del av forskningskapaciteten från manuell kodning och felsökning till att formulera uppgifter, granska experiment och välja nästa steg.
Det viktiga måttet är inte 3,1 i sig, utan var den mänskliga tiden tar vägen. OpenAI:s data pekar mot att kodproduktionen skalar snabbare än omdömet runt den. Nästa flaskhals blir därför sannolikt experimentdesign, validering och prioritering – arbete som fortfarande kräver en forskare som kan se när ett korrekt genomfört experiment svarar på fel fråga.
