Inkling är en öppen AI för text, bild och ljud

Thinking Machines Lab har släppt Inkling, en AI-modell som kan ta emot text, bilder och ljud och lämna text som svar. Modellvikterna, alltså de inlärda värden som styr modellen, finns på Hugging Face under licensen Apache 2.0. Släppet riktar sig främst till utvecklare och forskare som vill bygga eller anpassa egna AI-tjänster.

Inkling är multimodal. Det betyder att samma modell kan arbeta med flera typer av underlag. Ett utvecklingsteam kan till exempel kombinera en bild med en fråga eller låta modellen tolka en ljudfil. Ljudstödet hos externa körleverantörer var fortfarande under arbete när Hugging Face publicerade sin guide.

Modellen har 975 miljarder parametrar totalt, men använder 41 miljarder åt gången. Den tekniken kallas en blandning av experter: bara vissa delar av modellen aktiveras för varje steg. Det minskar beräkningen jämfört med att använda hela modellen samtidigt, men gör inte Inkling liten.

Hugging Face uppger att den fulla versionen kräver omkring 2 terabyte grafikminne och att den komprimerade NVFP4-versionen kräver omkring 600 gigabyte. Det är servernivå, inte en vanlig bärbar dator. Mindre komprimerade varianter finns från andra aktörer, men de är inte samma sak som den version Thinking Machines Lab utvärderade.

Thinking Machines Lab redovisar egna jämförelser mot andra modeller. Företaget skriver samtidigt att flera resultat togs fram med en annan kontrollpunkt än den som släpptes. Siffrorna ska därför läsas som leverantörens tester, inte som oberoende bevis för att Inkling är bättre än andra modeller.

Modellkortet varnar för felaktiga svar, ojämn kvalitet mellan språk och risker vid öppna installationer. Utvecklare rekommenderas att testa kvalitet, säkerhet och rättvisa för den egna användningen och lägga skydd runt modellen i stället för att lita på dess inbyggda avvisningar.

Varför det spelar roll

Öppna modellvikter ger svenska utvecklare större möjlighet att granska, anpassa och köra en modell i egen infrastruktur. Inkling visar samtidigt att öppen tillgång inte betyder enkel lokal drift. Kostnaden för hårdvara, testning och säkerhet kan vara större än själva tillgången till modellen.

Gör så här

1. Läs modellkortet, licensen och hårdvarukraven innan ett test planeras.
2. Börja med en avgränsad uppgift och eget icke-känsligt testmaterial i text, bild eller ljud.
3. Jämför resultatet med originalkällan och testa svenska, säkerhet och kostnad i den miljö där modellen ska användas.