Småskaligt experiment visar datans stora roll i AI-träning
Ett begränsat försök skiljer dataförbättringar från modellrecept – och pekar på att träningsmaterialet gav den klart större effektivitetsvinsten.
Ett kontrollerat försök av Dwarkesh Patel och Jerry Han pekar på att valet av träningsdata kan ha haft större betydelse än själva modellreceptet för hur effektiv förträningen blivit. Men försöket är litet, och resultatet säger mindre om dagens största modeller än rubriksiffrorna först antyder.
Forskarna kombinerade årsrepresentativa öppna modellrecept och datakorpusar från 2019 till 2025. Modellerna tränades från grunden vid fem beräkningsbudgetar, upp till 10^19 FLOP, med samma GPT-2-tokenizer och en kontextlängd på 2 048 token.
Eftersom datamängderna skilde sig gick modellerna inte att jämföra rättvist med förträningsförlust mot en gemensam datamängd. I stället använde forskarna OLMES, ett öppet och reproducerbart utvärderingsupplägg som samlar tio relativt enkla uppgifter, främst flervalsfrågor.
Vid den högsta beräkningsbudgeten motsvarade bytet från 2019 års data till 2025 års data en 12-faldig förbättring av beräkningseffektiviteten. Motsvarande byte av modellrecept gav 3,7 gånger bättre effektivitet. I just detta upplägg stod dataförbättringarna alltså för 3,24 gånger större effekt än modellförbättringarna.
Författarnas skalningskurvor visar OLMES-resultat vid fem träningsbudgetar. Källa och kredit: Jerry Han och Dwarkesh Patel via Datawrapper. Debrief har återgett det publicerade diagrammet utan att ändra data, axlar eller etiketter.
Det betyder inte att modellerna blev tolv gånger intelligentare. Multiplikatorn beskriver hur mycket mindre nominell träningsberäkning som krävdes för att nå samma OLMES-resultat jämfört med baslinjen.
Ett tydligt resultat med stora brasklappar
Författarna beskriver själva försöket som genomfört i mycket liten skala. Punkterna i skalningskurvorna bygger på minst tre oberoende träningskörningar, men den fulla 7×7-matrisen med kombinationer vid 3,16 × 10^18 FLOP kördes bara en gång per kombination. Vissa multiplikatorer bygger dessutom på extrapolering, och hyperparameterjusteringen var begränsad.
Mätningen fångar inte heller allt modellarbete bidrar med. Arkitekturer, optimerare och systemteknik kan framför allt göra större träningskörningar möjliga och stabila – en effekt som inte syns fullt ut när små modeller jämförs vid fasta budgetar. Studien omfattar inte efterträning med förstärkningsinlärning eller syntetiska data.
Att datakurering kan ge stora vinster i kontrollerade upplägg har också visats i DataComp-LM, där träningskoden hålls fast medan deltagarna förbättrar datamängden. Det stöder den bredare idén att data är en central utvecklingsyta, men bekräftar inte Patel och Hans exakta fördelning mellan data och modellrecept.
I ett småskaligt försök gav nyare träningsdata större förbättring av beräkningseffektiviteten än nyare modellrecept: 12,0 gånger jämfört med 3,7 gånger vid `10^19` FLOP.
Resultatet flyttar upp datakurering från en stödprocess till en möjlig huvudkomponent i modellutvecklingen. Det ger också ett konkret sätt att mäta dataarbete mot arkitekturförändringar i samma experiment.
Det här är en stark hypotes, inte ett facit för all AI-utveckling. Den praktiska lärdomen är att modellbyggare bör mäta och redovisa dataval lika systematiskt som arkitektur och träningskod. Nästa avgörande test är om försprånget finns kvar i större modeller och med dagens efterträning.
