OpenAI skärper skyddet kring kommande Astra

OpenAI, företaget bakom ChatGPT, har skärpt säkerhetskraven kring den kommande modellen Astra. Företaget skriver att tidiga interna tester visar tydliga framsteg inom programmering och cybersäkerhet och att det ännu inte kan utesluta att modellen når den egna kritiska cybertröskeln.

I OpenAI:s ramverk betyder den tröskeln att en modell kan hitta och utveckla fungerande säkerhetshål som ingen tidigare känt till i många väl skyddade system utan mänsklig hjälp. Den kan också innebära att modellen själv planerar och genomför en ny typ av cyberangrepp mot ett väl skyddat mål utifrån ett övergripande mål.

Det är inte ett oberoende bevis för att Astra redan har dessa förmågor. OpenAI beskriver bedömningen som preliminär, fortsätter att testa modellen och skriver att den ännu inte kan utesluta den kritiska nivån. Astra är en kommande modell och var enligt företaget inte inblandad i den tidigare incidenten hos Hugging Face.

OpenAI uppger att tester ska ske i isolerade miljöer med begränsad nätverks- och verktygsåtkomst. Företaget har också infört starkare skydd för modellvikter, mer övervakning och körning i avgränsade sandlådor. Interna aktiviteter med Astra pausas om de inte uppfyller de skärpta kraven.

Företaget planerar att låta myndigheter och utvalda AI-säkerhetsorganisationer testa modellens förmåga. OpenAI anger däremot ingen offentlig lanseringsdag, inget pris, inga abonnemang och ingen lista över länder där Astra kan bli tillgänglig.

Brittiska National Cyber Security Centre ger ett bredare råd som gäller AI-agenter i verksamheter, inte Astra specifikt: börja med små och tydligt avgränsade uppgifter, ge minsta möjliga behörighet, övervaka beteendet och planera hur systemet ska stoppas om något går fel.

Därför spelar det roll

När en AI får använda kodverktyg, nätverk och andra system blir dess behörigheter en del av säkerhetsrisken. OpenAI:s besked visar att starkare modeller kan kräva hårdare kontroll redan under utvecklingen, långt innan en offentlig lansering.

Det här kan du göra

1. Ge en AI-agent bara de mappar, system och verktyg som behövs för den aktuella uppgiften.
2. Använd separata testmiljöer och tillfälliga behörigheter i stället för fri åtkomst till produktion.
3. Logga agentens handlingar och bestäm vem som får stoppa körningen eller återkalla åtkomsten.
4. Behandla OpenAI:s Astra-bedömning som ett preliminärt leverantörsbesked tills externa tester finns.