STOCKHOLM (Nyhetsbyrån Direkt) Under helgen pausade Open AI träningen av sina senaste AI-modeller. Beslutet kommer samtidigt som allt fler fall uppdagats där företagets AI-agenter har agerat på oväntade och i vissa fall potentiellt otillåtna sätt.

Beskedet om att stoppa utvecklingsarbetet kom bara timmar efter att Open AI på fredagen meddelat att bolaget granskar flera incidenter från i somras, där AI-agenter sökt information på amerikanska myndigheters webbplatser. I vissa fall ska agenterna ha gått utanför sina instruktioner när de samlade in och spred information.

Den fulla omfattningen av aktiviteten och hur mycket Open AI själva kände till är fortfarande oklar.

I mitten av september uppskattade en person med insyn att Open AI hade identifierat ett tjugotal fall där företagets agenter betett sig på oönskade sätt. Antalet har fortsatt att stiga i takt med att bolagets team gått igenom interna loggar och upptäckt tidigare okända fall, rapporterar Reuters.

Enligt företaget självt kan granskningen ta flera månader på grund av arbetets omfattning, och de allvarligaste fallen prioriteras. Bolaget har också underrättat ett stort antal externa aktörer om olämplig aktivitet.

Granskningen följer på en incident i juli, då bolaget uppgav att dess agenter hade brutit sig ur sina avgränsade miljöer och hackat sig in på AI-plattformen Hugging Faces servrar i ett försök att lösa ett test. Bolaget beskrev intrånget då, som involverade flera modeller, däribland GPT-5.6 Sol och en "ännu mer kapabel" modell som fortfarande testades internt, som en "allvarlig säkerhetsincident", rapporterade AP. Det var under denna utredning som spår av andra incidenter kunde upptäckas.

Sedan dess har flera Open AI-relaterade incidenter av varierande allvarlighetsgrad uppdagats, från spamliknande meddelanden till försök att kringgå säkerhetssystem hos myndigheter och andra organisationer. På fredagen uppgav Open AI att dess modeller, som söker efter trovärdig och offentligt tillgänglig information, hade hämtat uppgifter från bland annat den amerikanska finansinspektionen SEC och statistikmyndigheten Census Bureau. Enligt bolaget finns inga tecken på obehörig åtkomst, kapade konton eller säkerhetsintrång.

Samtidigt uppgav den ideella AI-forskningsorganisationen Transluce att agenter som tycktes komma från Open AI utan framgång hade försökt hacka en webbplats om medborgerliga rättigheter som drivs av USA:s utbildningsdepartement, rapporterade AP. Enligt Transluce var incidenten en del av en bredare aktivitet där AI-agenter sonderade myndigheters webbplatser genom bland annat exponerade inloggningsuppgifter, försök att kringgå skydd mot botar och falska konton.

Forskargruppen uppgav också att den hade upptäckt OpenAI-agenter som kringgått skydd mot botar hos Australian Institute of Health and Welfare, samt ytterligare två fall som gruppen kopplat till Open AI-agenter.

Australiens premiärminister Anthony Albanese uppgav vid FN förra veckan att Open AI-agenter i juni hade tagit sig in i en australisk myndighetsportal för hälsodata. Enligt Albanese upptäckte Open AI aktiviteten i augusti men informerade inte regeringen förrän den 10 september, då bolaget skickade ett mejl till en allmän myndighetsadress.

I ett uttalande med anledning av Transluces uppgifter sade Open AI att ”en stor del av den aktivitet som beskrivs i Transluces rapport överlappar med fall som befinner sig i olika stadier av utredning inom ramen för vår pågående granskning av felanpassat modellbeteende”, skriver Reuters.

En annan incident som offentliggjordes på fredagen rörde 53 läckta bilder från Chat GPT-användare. Open AI ville inte uppge om bilderna var AI-genererade eller föreställde verkliga personer och berättade inte heller när de hade publicerats. De flesta bilderna har sedan dess tagits bort. Open AI uppgav att bolaget försöker få de webbhotell och plattformar som fortfarande har kvar materialet att radera det.

Företagets agenter hade tillgång till bilderna eftersom Open AI delvis använder anonymiserade användardata för att träna sina modeller, enligt bolaget, tidigare anställda och externa forskare. Data från företagskunder används inte för träning, medan vanliga ChatGPT-användare kan välja bort att deras data används för detta ändamål.

De allt fler avslöjandena har väckt frågor om hur väl AI-bolagen egentligen kan övervaka allt mer avancerade autonoma system och upptäcka när systemen börjar agera utanför de instruktioner de fått.

Open AI har självt medgett att det behövs större öppenhet kring sådana beteenden. Den 16 september publicerade bolaget ett nytt ramverk för hur incidenter där AI-system går utanför sina instruktioner ska offentliggöras. Företaget uppgav att det framöver hellre ska vara för öppet än för slutet, ”även när betydelsen är osäker”.

Men två personer med insyn i Open AI:s utredning beskriver processen som hårt kontrollerad och präglad av bolagets jurister. Reuters har tidigare rapporterat att utredare som granskade intrånget hos Hugging Face avråddes av Open AI:s jurister från att bredda utredningen till andra incidenter. Open AI har förnekat att juristerna skulle ha motverkat en bredare granskning.

Problemet är inte begränsat till Open AI. Efter intrånget hos Hugging Face började andra AI-bolag granska sina egna system närmare. Anthropic, Google och Meta har därefter uppgett att även de har identifierat liknande beteenden hos sina AI-agenter.

Anthropic har uppgett att tre av företagets AI-modeller hackade sig in hos tre andra organisationer under tester. Meta rapporterade i augusti om ett separat fall där en av bolagets modeller hittade sätt att kringgå ett annat företags digitala säkerhetssystem.

Upptäckterna har gett ny kraft åt debatten om huruvida AI-utvecklingen går snabbare än företagens förmåga att kontrollera och övervaka systemen de bygger.

Anthropics vd Dario Amodei har sagt att branschen behöver sänka utvecklingstakten. Enligt Amodei skulle en svärm av AI-agenter potentiellt kunna ta kontroll över stora delar av internet inom sex månader till ett år om företagen inte lägger mer tid på att bygga in säkerhetsåtgärder.

Även Sam Altman har efterlyst ett större samarbete kring AI-säkerhet. I ett inlägg på X under helgen skrev han att företagen inte bör vänta på att regeringar inför ny lagstiftning innan de agerar.

Att anpassa takten i AI-utvecklingen innebär inte att stoppa den, skrev Altman, ”men den bör gå långsammare än den annars skulle ha gjort”.

Kraven på att bromsa AI-utvecklingen möter samtidigt politiskt motstånd. USA:s president Donald Trump har varnat för att en inbromsning kan ge Kina möjlighet att knappa in på USA:s tekniska försprång.

"Vi ligger kanske ett och ett halvt år före Kina. Vi leder – varför skulle vi ge upp det?", sade Trump till Fox News.

Trump sade samtidigt att han förstår oron för att en alltför snabb AI-utveckling kan innebära risker, men att han anser att det är viktigare att USA behåller sitt tekniska övertag gentemot Kina.

Makroredaktionen Nyhetsbyrån Direkt

+46 8 5191 7931

makrodesken.direkt@direkt.se