Meta släppte lokal AI-modell för agenter

Meta har släppt Muse Glimmer, en AI-modell som är särskilt byggd för lokala agenter. Det betyder att modellen kan köras på användarens egen dator i stället för att varje uppgift skickas till en extern molntjänst.

Modellen har 30 miljarder parametrar och kan ta emot både text och bilder. Meta beskriver användningsområden som lokal kodning, verktygsanrop, planering i flera steg och agenter som arbetar med filer eller andra program.

Modellvikterna finns att ladda ned under den tillåtande licensen Apache 2.0. Meta uppger att stöd genom bland annat llama.cpp, MLX och ExecuTorch ska bli tillgängligt stegvis.

Lokal betyder inte att modellen fungerar bra på vilken dator som helst. Meta skriver att en komprimerad version är mindre än 20 gigabyte och har testats inom en minnesram på 24 eller 32 gigabyte. Det kräver betydligt mer resurser än många enklare datorer har.

Meta redovisar starka resultat inom verktygsanvändning, kod och längre agentuppgifter. Jämförelserna är företagets egna utvärderingar och ska inte läsas som oberoende bevis för att modellen ger bättre resultat i en svensk verksamhet.

En lokal modell kan minska behovet av att skicka data till en extern tjänst och kan användas utan internet. Verksamheten behöver ändå kontrollera installation, åtkomsträttigheter, loggning och vad agenten faktiskt får göra på datorn.

Därför spelar det roll

Lokala AI-agenter kan ge mer kontroll över känsliga filer och minska beroendet av nätanslutning. Samtidigt flyttas ansvaret för säkerhet, drift och hårdvara till den egna verksamheten.

Det här kan du göra

1. Kontrollera tillgängligt minne och grafikhårdvara innan modellen laddas ned.
2. Testa i en avskild miljö med ofarliga filer och begränsade behörigheter.
3. Dokumentera vilka program, mappar och nätverksresurser agenten får använda.
4. Jämför svensk kvalitet och verklig svarstid på era egna uppgifter.