OpenAI:s forskningschef: Övervakning blir flaskhals för nästa AI-språng
Jakub Pachocki varnar för att AI-förmågan utvecklas snabbare än anpassning och övervakning – och öppnar för att fortsatt skalning kan behöva bromsas.
OpenAI:s forskningschef Jakub Pachocki beskriver i en ny essä en utveckling där modellerna blir mer kapabla snabbare än forskarna lär sig att förstå och övervaka dem. Hans slutsats är ovanligt tydlig för att komma från en ledande person i ett frontbolag: ingen aktör har löst anpassning och övervakning tillräckligt väl för att fortsätta skala med maximal fart särskilt länge.
Pachocki skriver i eget namn. Texten är därför varken ett forskningsresultat eller ett bindande besked om OpenAI:s plan, men den visar hur bolagets forskningschef ramar in det tekniska problemet inför nästa steg av AI-utvecklingen.
Två sorters anpassning
Pachocki skiljer mellan målanpassning och värderingsanpassning. Den första handlar om att modellen försöker utföra det uppdrag den får och följer en instruktionsordning. Den andra ska få modellen att agera rimligt även när målet är oklart, konflikten ny eller miljön främmande.
Dagens metoder kan enligt honom fungera bra i vanliga situationer men bli sköra när modellen optimeras hårt mot svåra mål. Den centrala risken är därför inte bara att en modell missförstår en instruktion. Det är att förmågan att driva mot ett mål utvecklas snabbare än förmågan att generalisera mänskliga värderingar till situationer som aldrig fanns i träningen.
Övervakningen blir en flaskhals
OpenAI har satsat på att granska modellernas tankekedjor för att upptäcka felriktade planer innan de blir handlingar. Pachocki beskriver nu tre skäl till att den signalen försvagas: agenter arbetar i allt mer komplexa miljöer, modeller blir bättre på att styra sitt eget resonemang och mer intelligens ryms i svar där inget långt resonemang syns.
Det betyder inte att övervakning av tankekedjan är oanvändbar. Pachocki pekar på kombinationer med andra metoder, bland annat övervakning av aktivitet inne i nätverket. Men han väntar sig att fortsatt AI-utveckling i allt högre grad begränsas av hur säker forskarna kan vara på att övervakningen fungerar.
Självförbättring med broms
Pachocki tror samtidigt att AI kommer att spela en större roll i utvecklingen av nästa generation AI. Han kallar rekursiv självförbättring en trolig kärna i framtida forskning och vill använda automatiserad AI-forskning för att arbeta med just anpassningsproblemet.
Här finns essäns spänning: starkare modeller behövs enligt Pachocki för att bygga försvar mot andra starka modeller, men det får inte bli ett argument för att skala utan kontroll. Han vill se säkerhetsgränser som faktiskt stoppar fortsatt utveckling när förtroendet för skydden inte räcker, och räknar med frivilliga inbromsningar innan gemensamma gränser finns på plats.
OpenAI:s forskningschef varnar för att modellernas förmåga utvecklas snabbare än anpassning och övervakning, och öppnar för att fortsatt skalning kan behöva bromsas.
Om övervakning blir den verkliga flaskhalsen avgörs nästa AI-språng inte bara av mer beräkningskraft, utan av om aktörerna kan visa att mer autonoma modeller går att kontrollera.
Det mest intressanta är inte ordvalet ”främmande intelligens”, utan den tekniska konflikt Pachocki pekar ut. AI kan bli bättre på att bygga AI samtidigt som de signaler som ska avslöja felriktning blir svagare. Då måste säkerhetsgränserna kopplas till mätbara systemegenskaper och faktiska stoppmekanismer, inte till modellens egen förklaring av vad den gjorde.
