OpenAI:s forskningschef vill bromsa när AI-säkerheten släpar efter

Jakub Pachocki, forskningschef på OpenAI, vill att AI-labb frivilligt bromsar utvecklingen när säkerhetskontrollerna inte räcker. I en text publicerad den 6 september skriver han att inget labb har löst anpassning och övervakning tillräckligt bra för att fortsätta skala AI i högsta takt mycket längre.

Med anpassning menar Pachocki att systemen ska följa människors mål och grundläggande värden även i nya eller motstridiga situationer. Övervakning handlar bland annat om att upptäcka när en modell planerar eller agerar på ett farligt sätt.

Pachocki pekar särskilt på att OpenAI får svårare att lita på övervakning av modellernas utskrivna resonemang. Moderna AI-system blandar resonemang med verktyg, samtal och andra AI-system. De kan också bli bättre på att påverka sitt eget resonemang eller lösa uppgifter utan att skriva ut alla mellanled.

Han föreslår gemensamma säkerhetsgränser som kan följas upp av oberoende granskare, myndigheter eller internationella organ. När säkerheten inte håller jämna steg hoppas han att frivilliga inbromsningar blir vanliga.

Texten är inte ett besked om att OpenAI har stoppat en modell, sänkt sin datorkraft eller infört en bindande paus. Den anger inte heller en mätbar gräns för när ett labb måste bromsa. The Next Web beskriver därför utspelet som en uppmaning som ännu saknar en konkret gemensam stoppmekanism.

För svenska verksamheter är den praktiska lärdomen mer närliggande. En starkare AI-agent bör inte få större behörigheter bara för att den verkar mer kapabel. Åtgärder som skickar information, ändrar data eller påverkar kunder behöver avgränsade rättigheter, loggning och mänskliga kontrollpunkter.

Artikeln i korthet

• OpenAI:s forskningschef vill se frivilliga inbromsningar när säkerheten inte räcker.
• Han bedömer att inget AI-labb ännu kan övervaka de starkaste systemen tillräckligt väl för fortsatt maximal takt.
• Förslaget omfattar gemensamma säkerhetsgränser och extern granskning.
• Det finns inget beslutat stopp, bindande åtagande eller ny lag.

Därför spelar det roll

När en ledande forskningschef inom OpenAI själv säger att övervakningen släpar efter blir det en viktig varningssignal. Svenska företag behöver inte vänta på en internationell överenskommelse för att begränsa vad AI-agenter får läsa, ändra och skicka i den egna verksamheten.

Det här kan du göra

1. Ge AI-agenter minsta möjliga åtkomst till filer, system och externa tjänster.
2. Kräv mänskligt godkännande innan en agent skickar, publicerar, köper eller ändrar viktig data.
3. Logga verktygsanrop och testa även uppgifter som ligger nära gränsen för agentens mandat.
4. Be leverantören förklara vilka kontroller som finns utanför modellens eget resonemang.

Kom ikapp om ämnet

OpenAI släppte GPT-6 Astra den 3 september och beskrev modellen som bättre anpassad än föregångaren. Tre dagar senare skrev företagets forskningschef att branschen ändå behöver bromsa när säkerheten inte räcker. Uppmaningen gäller utvecklingstakten i stort och är inte ett återkallande av Astra.

Jakub Pachocki publicerade sin text hos OpenAI den 6 september. Rundown tog upp den den 7 september. Källorna kontrollerades den 8 september 2026.

Källor

OpenAI: An Alien Mind

OpenAI: Preparedness Framework

The Next Web: OpenAI's chief scientist says no lab should keep scaling at maximum speed