Magnitude kopplar lokala AI-modeller till dina befintliga kodagenter
Magnitude profilerar datorn, föreslår lokala modeller och ansluter dem till kodagenter som Codex och Claude Code – via en bakgrundstjänst som också påverkar vägen tillbaka till molnet.
Magnitude är en öppen inferensserver som försöker göra lokala AI-modeller till ett modellval i de kodagenter utvecklare redan använder. Verktyget profilerar datorn, rangordnar modellkonfigurationer och kopplar den valda modellen till bland annat Codex, Claude Code, OpenCode och Cline.
Det är framför allt ett installations- och kopplingslager. Magnitude bygger inte en ny kodagent, utan placerar en lokal server mellan agenten och modellen.
Från hårdvarutest till agentanslutning
Vid installationen mäter Magnitude processor, minne, arkitektur och minnesbandbredd. Därefter rangordnas kombinationer av modell, kvantisering och kontext utifrån uppskattad hastighet, intelligens och minnesåtgång.
Användaren väljer en konfiguration, som sedan laddas ned och ansluts till den befintliga agenten. Modellvalen kan bytas senare. Magnitude säger också att modeller laddas när de behövs och lämnar minnet när de varit inaktiva eller när utrymmet blir för litet.
Under ytan körs en tjänst på datorns loopback-adress. Den erbjuder både ett OpenAI-kompatibelt API för bland annat Responses och Chat Completions samt ett Anthropic-kompatibelt API för Messages. Det gör att olika agentverktyg kan prata med samma lokala inferenslager utan att varje integration behöver en egen modellserver.
Projektets README fokuserar på Apple Silicon och anger Mac med M1 eller senare samt macOS 15 eller nyare. Startdokumentationen anger också stöd för Linux och Windows genom WSL. Koden är licensierad under Apache 2.0, medan varje nedladdad modell har egna villkor.
Lokalt läge har ett tjänstelager
När modellen väl är nedladdad uppger Magnitude att inferensen kan köras utan internet och att promptar, filer och modeller stannar på datorn. Debrief har inte installerat verktyget eller verifierat dessa integritets- och prestandapåståenden.
En viktig detalj gäller Codex och Claude Code. Dokumentationen säger att deras anslutningar är beroende av Magnitudes bakgrundstjänst även när användaren växlar tillbaka till verktygens värdbaserade modeller. Tjänsten registreras för automatisk start vid inloggning.
Det betyder inte att molnmodellerna blir lokala. Det betyder att Magnitude förblir en del av kopplingsvägen tills anslutningen tas bort. Referensen innehåller kommandon för att stoppa eller avinstallera tjänsten och för att koppla bort en agent, men beroendet behöver vara tydligt för den som provar.
Magnitude kopplar lokala AI-modeller till befintliga kodagenter genom en bakgrundstjänst med OpenAI- och Anthropic-kompatibla API:er. Verktyget profilerar hårdvaran, föreslår en modellkonfiguration och sköter nedladdning och anslutning.
Lokala modeller blir mer användbara när de kan väljas i samma verktyg som redan hanterar filer, terminal och kodändringar. Magnitude försöker göra den övergången till ett konfigurationsval i stället för ett separat serverprojekt.
Den starkaste idén är inte ännu en lokal modellkatalog, utan ett gemensamt anslutningslager för flera agenter. Samtidigt bör bakgrundstjänsten behandlas som infrastruktur: den påverkar kopplingsvägen även när användaren återgår till molnet, och därför måste dess status och avinstallation vara lika begripliga som modellvalet.
